山东极视角科技股份有限公司陈硕获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东极视角科技股份有限公司申请的专利一种多硬件混合大模型训练的方法、系统及相关装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119539012B 。
龙图腾网通过国家知识产权局官网在2025-04-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510095875.2,技术领域涉及:G06N3/082;该发明授权一种多硬件混合大模型训练的方法、系统及相关装置是由陈硕;罗韵;陈振杰;徐雷设计研发完成,并于2025-01-22向国家知识产权局提交的专利申请。
本一种多硬件混合大模型训练的方法、系统及相关装置在说明书摘要公布了:本申请公开了一种多硬件混合大模型训练的方法、系统及相关装置,用于简化模型结构,提高模型性能。本申请方法包括:首先,收集多模态数据,构建多模态模型架构,通过对多模态大模型进行基准测试,得到多个硬件的第一性能指标。接着,将接收的计算任务进行分解为若干个子任务,多模态大模型划分成若干个子模型,并根据第一性能指标将子模型和子任务匹配至适合的硬件进行训练。然后,根据计算的综合权重值对信息传递链路进行剪枝操作。再评估第二性能指标,获得性能评估报告,对剪枝操作实施动态调整策略,并执行后续的剪枝操作,在执行剪枝操作后,对子模型进行重新初始化和局部微调。最后,使用测试数据集对多模态大模型进行全面评估。
本发明授权一种多硬件混合大模型训练的方法、系统及相关装置在权利要求书中公布了:1.一种多硬件混合大模型训练的方法,其特征在于,所述方法包括:收集多模态数据,并进行预处理,得到多模态数据样本,所述多模态数据包括文本数据、图像数据、音频数据以及视频数据;根据所述多模态数据样本构建多模态模型架构;在多个硬件的模拟环境下,使用所述多模态数据样本对多模态大模型进行基准测试,得到所述多个硬件的第一性能指标;接收计算任务,并将所述计算任务进行分解为若干个子任务;基于所述多模态模型架构将所述多模态大模型划分成若干个子模型,并根据所述第一性能指标将所述子模型和所述子任务匹配至适合的硬件进行训练;根据所述子模型的信息熵值和梯度变化指标计算综合权重值,并根据所述综合权重值对信息传递链路进行剪枝操作;基于预配置的负载监控模型,评估所述多个硬件的第二性能指标,得到性能评估报告;根据所述性能评估报告对所述剪枝操作实施动态调整策略,并执行后续的所述剪枝操作,所述动态调整策略包括调整剪枝周期和调整剪枝比例;在执行所述剪枝操作后,对所述子模型进行重新初始化和局部微调;当所有的所述子任务完成后,使用测试数据集对所述多模态大模型进行全面评估。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东极视角科技股份有限公司,其通讯地址为:266000 山东省青岛市黄岛区庐山路57-1号301;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。