北京智源人工智能研究院陈卓获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京智源人工智能研究院申请的专利基于关键字的模型部署方法、装置、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120104141B 。
龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510205292.0,技术领域涉及:G06F8/60;该发明授权基于关键字的模型部署方法、装置、设备及存储介质是由陈卓;敖玉龙;吕梦思;赵英利;曹州;梁栋;常韬设计研发完成,并于2025-02-24向国家知识产权局提交的专利申请。
本基于关键字的模型部署方法、装置、设备及存储介质在说明书摘要公布了:本申请公开了一种基于关键字的模型部署方法、装置、设备及存储介质,该方法包括:获取模型结构关键字和模型资源关键字;基于模型结构关键字,生成目标处理模型;目标处理模型包括多个模型组件;基于模型资源关键字,对目标处理模型中的多个模型组件进行资源配置。采用本申请的方法可以简化大模型服务的部署过程以及降低大模型部署过程中资源配置的难度。
本发明授权基于关键字的模型部署方法、装置、设备及存储介质在权利要求书中公布了:1.一种基于关键字的模型部署方法,其特征在于,包括: 获取模型结构关键字和模型资源关键字; 基于所述模型结构关键字,生成目标处理模型;所述目标处理模型为基于模型结构关键字部署的大模型服务,所述目标处理模型包括多个模型组件; 基于所述模型资源关键字,对所述目标处理模型中的多个所述模型组件进行资源配置; 所述基于所述模型资源关键字,对所述目标处理模型中的多个所述模型组件进行资源配置之后,包括: 当所述目标处理模型运行时,获取多个所述模型组件的运行状态信息;多个所述模型组件的运行状态信息用于表征多个所述模型组件是否运行,多个所述模型组件的运行状态信息包括正在运行,和或,已经运行,和或,未运行; 基于所述运行状态信息对多个所述模型组件占用的资源进行动态调整; 所述基于所述运行状态信息对多个所述模型组件占用的资源进行动态调整,包括: 基于所述运行状态信息,确定多个所述模型组件中是否包含第一模型组件;所述第一模型组件为多个所述模型组件中正在运行且对应的任务处于排队状态的模型组件; 若多个所述模型组件中包含所述第一模型组件,判断多个所述模型组件中是否包含第二模型组件;所述第二模型组件为多个所述模型组件中还未运行且占用资源的模型组件; 若多个所述模型组件中包含所述第二模型组件,基于所述第一模型组件中处于排队状态的任务所需的资源量对所述第二模型组件的资源进行动态调整; 所述基于所述第一模型组件中处于排队状态的任务所需的资源量对所述第二模型组件的资源进行动态调整,包括: 若所述第一模型组件中处于排队状态的任务所需的资源量大于或等于所述第二模型组件所占用的资源总量,将所述第二模型组件所占用的资源分配至所述第一模型组件; 若所述第一模型组件中处于排队状态的任务所需的资源量小于所述第二模型组件所占用的资源总量,基于所述第二模型组件的依赖关系确定所述第二模型组件的优先级;基于所述第二模型组件的依赖关系确定第二模型组件的优先级时,设置存在依赖关系的两个模型组件中被依赖方的优先级高于依赖方的优先级,或者,设置存在依赖关系的两个模型组件中依赖方的优先级高于被依赖方的优先级; 基于所述优先级和所述第一模型组件中处于排队状态的任务所需的资源量从所述第二模型组件中确定第三模型组件;所述第三模型组件为所述第二模型组件中优先级排序靠前的模型组件,所述第三模型组件所占用的资源总量大于或等于所述第一模型组件中处于排队状态的任务所需的资源量;当设置存在依赖关系的两个模型组件中被依赖方的优先级高于依赖方的优先级时,所述第三模型组件为按照优先级由低到高排序靠前的模型组件;当设置存在依赖关系的两个模型组件中依赖方的优先级高于被依赖方的优先级时,所述第三模型组件为按照优先级由高到低排序靠前的模型组件;所述多个模型组件中分配至依赖方的资源在被依赖方的运行阶段存在一定空闲时间; 将所述第三模型组件所占用的资源分配至所述第一模型组件。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京智源人工智能研究院,其通讯地址为:100084 北京市海淀区成府路150号5层501号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励