Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 北京硅动科技有限公司张文骁获国家专利权

北京硅动科技有限公司张文骁获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉北京硅动科技有限公司申请的专利大语言模型的任务调度方法、数据处理系统与电子设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119311384B

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411267991.X,技术领域涉及:G06F9/48;该发明授权大语言模型的任务调度方法、数据处理系统与电子设备是由张文骁;李一鹏;柳俊丞;朱平设计研发完成,并于2024-09-11向国家知识产权局提交的专利申请。

大语言模型的任务调度方法、数据处理系统与电子设备在说明书摘要公布了:本公开提供了一种大语言模型的任务调度方法、数据处理系统与电子设备。方法包括:在第一处理器上,从就绪队列获取请求以形成第一运行实例和第二运行实例;生成第一运行实例对应的第一协程和第二运行实例对应的第二协程,第一协程和第二协程均用于执行Q个子阶段的计算任务与传输任务;运行第一协程,以将第1i个计算任务提交到第二处理器的第一工作流,将第1i个传输任务提交到第二处理器的第二工作流,设置第1i个传输任务在第1i个计算任务执行之后执行;运行第二协程,以将第2i个计算任务提交到第一工作流,将第2i个传输任务提交到第二工作流,设置第2i个传输任务的执行条件在第2i个计算任务执行之后执行。本公开实施例可以提高大模型的推理效率。

本发明授权大语言模型的任务调度方法、数据处理系统与电子设备在权利要求书中公布了:1.一种大语言模型的任务调度方法,其特征在于,应用于目标模型,包括: 在第一处理器上,从就绪队列获取请求以形成第一运行实例和第二运行实例,包括:确定当前调度批次对应的目标令牌数量,以及在所述目标令牌数量大于第一预设值时,将所述目标令牌数量的令牌平分以形成第一运行实例与第二运行实例,所述第一运行实例对应所述当前调度批次的前半部分令牌,所述第二运行实例对应所述当前调度批次的后半部分令牌; 生成与所述第一运行实例对应的第一协程和与所述第二运行实例对应的第二协程,所述第一协程和所述第二协程均用于执行Q个子阶段的任务,所述子阶段的任务包括计算任务与传输任务,Q≥2; 响应第一协程执行指令运行所述第一协程,以将第1i个计算任务提交到第二处理器的第一工作流,将第1i个传输任务提交到所述第二处理器的第二工作流,并设置所述第1i个传输任务的执行条件为所述第1i个计算任务执行完毕,触发第二协程执行指令; 响应所述第二协程执行指令运行所述第二协程,以将第2i个计算任务提交到所述第一工作流,将第2i个传输任务提交到所述第二工作流,并设置所述第2i个传输任务的执行条件为所述第2i个计算任务执行完毕,触发第一协程执行指令; 其中,所述第1i个计算任务为所述第一运行实例第i个子阶段对应的计算任务,所述第1i个传输任务为所述第一运行实例第i个子阶段对应的传输任务,所述第2i个计算任务为所述第二运行实例第i个子阶段对应的计算任务,所述第2i个传输任务为所述第二运行实例第i个子阶段对应的传输任务,1≤i≤Q,在i>1时,设置第1i个计算任务的执行条件为第1i-1个传输任务执行完毕,设置第2i个计算任务的执行条件为第2i-1个传输任务执行完毕; 通过多个调度批次对所述目标模型进行第一性能测试,以得到调度批次的令牌数量与预设性能参数的值之间的第一对应关系,所述多个调度批次对应的令牌数量均不同,所述第一性能测试对应通过一个协程和所述第一工作流对所述调度批次进行处理; 通过所述多个调度批次对所述目标模型进行第二性能测试,以得到调度批次的令牌数量与预设性能参数的值之间的第二对应关系,所述第二性能测试对应通过所述第一协程、所述第二协程和所述第一工作流、所述第二工作流对所述调度批次进行处理; 根据所述第一对应关系和所述第二对应关系,确定相同令牌数量下,所述第一对应关系的所述预设性能参数的值开始优于所述第二对应关系的所述预设性能参数的值的位置,将该位置对应的令牌数量确定为所述第一预设值; 在所述目标令牌数量小于等于所述第一预设值时,根据所述目标令牌数量的令牌形成第三运行实例; 生成与所述第三运行实例对应的第三协程; 控制所述第三协程运行,以将所述第三运行实例的各子阶段任务均提交到所述第一工作流; 其中生成与所述第一运行实例对应的第一协程和与所述第二运行实例对应的第二协程包括: 在所述第一协程中设置第一等待参数,并将所述第一等待参数设置为第一值,所述第一等待参数的第一值用于触发所述第一协程执行指令,所述第一等待参数的第二值用于控制所述第一协程暂停运行; 在所述第二协程中设置第二等待参数,并将所述第二等待参数设置为第二值,所述第二等待参数的第二值用于控制所述第二协程暂停运行,所述第二等待参数的第一值用于触发所述第二协程执行指令; 设置所述第一协程在将第1i个传输任务提交到所述第二工作流后,将所述第一等待参数设置为第二值,将所述第二等待参数设置为第一值; 设置所述第二协程在将第2i个传输任务提交到所述第二工作流后,将所述第二等待参数设置为第二值,将所述第一等待参数设置为第一值。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京硅动科技有限公司,其通讯地址为:100039 北京市海淀区王庄路1号院清华同方科技大厦4号楼8层0803;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。