恭喜山东极视角科技股份有限公司罗韵获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜山东极视角科技股份有限公司申请的专利一种融合生成式大模型的模型汇聚方法、系统及相关装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119538197B 。
龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510104047.0,技术领域涉及:G06F18/25;该发明授权一种融合生成式大模型的模型汇聚方法、系统及相关装置是由罗韵;陈振杰;邓富城;陈硕设计研发完成,并于2025-01-23向国家知识产权局提交的专利申请。
本一种融合生成式大模型的模型汇聚方法、系统及相关装置在说明书摘要公布了:本申请公开了一种融合生成式大模型的模型汇聚方法、系统及相关装置,用于提高模型的性能。本申请包括:收集多模态特征向量的数据集,并使用数据集训练子模型,基于子模型和多模态特征向量构建初始生成式大模型;将初始生成式大模型划分为多个层级,每个层级包括多个子层;基于子层的类型计算每个子层的复杂值;获取子层的可训练参数占用内存和中间结果占用内存,并计算得到内存占用值;获取子层的增益影响和生成指标提升值,并计算得到贡献值;获取复杂值、内存占用值以及贡献值的预设权重,计算得到影响值;判断影响值是否超过剪枝阈值;若否,则对未超过剪枝阈值的子层进行剪枝,得到目标子层;将目标子层进行汇聚,得到目标生成式大模型。
本发明授权一种融合生成式大模型的模型汇聚方法、系统及相关装置在权利要求书中公布了:1.一种融合生成式大模型的模型汇聚方法,其特征在于,所述方法包括:收集多模态特征向量的数据集,使用所述数据集对预训练模型进行训练得到子模型,并基于所述子模型和所述多模态特征向量,采用Transformer架构构建初始生成式大模型;根据所述初始生成式大模型的功能模块,将所述初始生成式大模型划分为多个层级,每个所述层级包括多个子层;确定所述子层的类型,并基于所述子层的类型计算每个子层的复杂值,所述复杂值用于评估每个子层在推理时的计算复杂度;获取所述子层在推理时的可训练参数占用内存和中间结果占用内存,通过所述可训练参数占用内存和所述中间结果占用内存计算得到每个子层的内存占用值,所述内存占用值用于评估每个子层在推理时的内存资源;获取所述子层在推理时的增益影响和生成指标提升值,通过所述增益影响和所述生成指标提升值计算得到每个子层的贡献值,所述贡献值用于评估每个子层在推理时的贡献程度;基于用户需求获取所述复杂值、所述内存占用值以及所述贡献值的预设权重,结合所述预设权重计算得到每个子层的影响值,所述影响值用于评估每个子层对推理结果的质量影响;判断每个子层的所述影响值是否超过剪枝阈值;若否,则对未超过所述剪枝阈值的子层进行剪枝,剪枝后得到多个目标子层;将所述目标子层进行汇聚,得到目标生成式大模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东极视角科技股份有限公司,其通讯地址为:266000 山东省青岛市黄岛区庐山路57-1号301;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。