龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：摩尔线程智能科技(北京)有限责任公司
摘要：本公开涉及电数字数据处理技术领域，尤其涉及一种大模型微调方法、装置、电子设备、存储介质和程序产品。所述方法包括：根据目标数据处理模型对应的原参数矩阵，初始化第一参数矩阵、第二参数矩阵和第三参数矩阵；采用训练样本集对目标数据处理模型进行微调，得到更新后的第三参数矩阵；根据第一参数矩阵、第二参数矩阵和更新后的第三参数矩阵，确定目标数据处理模型对应的新增参数矩阵；根据原参数矩阵和新增参数矩阵，确定更新后的总参数矩阵。本公开在目标数据处理模型微调的过程中仅微调第三参数矩阵，从而能够显著降低训练参数量，能够解决某些场景下LoRA微调的参数量过大的问题，提高大模型的微调速度。
主权项：1.一种大模型微调方法，其特征在于，包括：根据目标文本处理模型对应的原参数矩阵的行数和列数，初始化第一参数矩阵、第二参数矩阵和第三参数矩阵，其中，所述第一参数矩阵的行数等于所述原参数矩阵的行数，所述第二参数矩阵的列数等于所述原参数矩阵的列数，所述第一参数矩阵的列数小于所述原参数矩阵的列数，且所述第二参数矩阵的行数、所述第三参数矩阵的行数和所述第三参数矩阵的列数均等于所述第一参数矩阵的列数；采用训练文本集对所述目标文本处理模型进行微调，得到更新后的第三参数矩阵；其中，在所述目标文本处理模型微调的过程中，所述原参数矩阵、所述第一参数矩阵和所述第二参数矩阵保持固定；响应于所述目标文本处理模型微调完成，根据所述第一参数矩阵、所述第二参数矩阵和所述更新后的第三参数矩阵，确定所述目标文本处理模型对应的新增参数矩阵；根据所述原参数矩阵和所述新增参数矩阵，确定所述目标文本处理模型对应的更新后的总参数矩阵。
全文数据：
权利要求：
百度查询： 摩尔线程智能科技(北京)有限责任公司 大模型微调方法、装置、电子设备、存储介质和程序产品
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号