买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:摩尔线程智能科技(北京)有限责任公司
摘要:本公开涉及电数字数据处理技术领域,尤其涉及一种大模型微调方法、装置、电子设备、存储介质和程序产品。所述方法包括:获取目标域的N个相关域训练样本集;初始化第一参数矩阵和第二参数矩阵;采用N个相关域训练样本集分别对目标数据处理模型进行微调,得到N个更新后的第一参数矩阵和N个更新后的第二参数矩阵;根据N个更新后的第一参数矩阵和N个更新后的第二参数矩阵,确定目标新增参数矩阵;根据原参数矩阵和目标新增参数矩阵,确定目标数据处理模型的更新后的参数矩阵。本公开通过利用目标域的N个相关域对应的训练样本集对目标数据处理模型进行微调,能够在目标域获得较好的数据处理效果。
主权项:1.一种大模型微调方法,其特征在于,包括:获取目标域的N个相关域对应的N个相关域训练样本集;根据目标数据处理模型对应的原参数矩阵的行数和列数,初始化第一参数矩阵和第二参数矩阵,其中,所述第一参数矩阵的行数等于所述原参数矩阵的行数,所述第一参数矩阵的列数小于所述原参数矩阵的列数,所述第二参数矩阵的列数等于所述原参数矩阵的列数,且所述第二参数矩阵的行数等于所述第一参数矩阵的列数;采用所述N个相关域训练样本集分别对所述目标数据处理模型进行微调,得到与所述N个相关域对应的N个更新后的第一参数矩阵和N个更新后的第二参数矩阵;根据所述N个更新后的第一参数矩阵和所述N个更新后的第二参数矩阵,确定目标新增参数矩阵;根据所述原参数矩阵和所述目标新增参数矩阵,确定所述目标数据处理模型的更新后的参数矩阵。
全文数据:
权利要求:
百度查询: 摩尔线程智能科技(北京)有限责任公司 大模型微调方法、装置、电子设备、存储介质和程序产品
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。