龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明涉及一种基于参数高效微调的大语言模型稀疏方法及对话生成方法，其根据权重重要性度量同时稀疏LLM和低秩矩阵，保证二者具有相同的稀疏掩码，在微调之后能够合并。在每次迭代中根据互信息指标确定每一层的重要性，在保持平均稀疏率不变的情况下，为较重要的层设置较低的稀疏率，较不重要的层设置较高的稀疏率。在微调过程中计算稀疏LLM每一层的重建误差，在微调参数预算约束下，为具有较大重建误差的层分配较多的微调参数，即分配较大的秩，重建误差较小的层分配较小的秩。因此，本发明能够在高稀疏配置下显著提高大语言模型的性能。
主权项：1.一种基于参数高效微调的大语言模型稀疏方法，其特征在于，所述方法包括以下步骤：步骤1、数据准备：从训练语料库中采样N个片段，每个片段包含L个token；步骤2、设置迭代轮次、稀疏率：设置稀疏微调的迭代轮次为T，设置LLM微调之后所有层的平均稀疏率为P，对于迭代轮次i1≤i≤T，LLM所有层的平均稀疏率为iT*P；步骤3、确定逐层稀疏率：将步骤1得到的数据输入到大语言模型中，得到大语言模型的逐层特征图，然后计算每一层的互信息指标，根据互信息指标确定每一层的权重重要性，在保持平均稀疏率不变的情况下，权重重要性较高的层设置较低稀疏率，权重重要性较低的层设置较高稀疏率，得到大语言模型的逐层稀疏率；步骤4、确定稀疏掩码：根据大语言模型的逐层稀疏率，确定大语言模型的权重和低秩矩阵的稀疏掩码，大语言模型的稀疏掩码与低秩矩阵的稀疏掩码是相同的，从而得到稀疏大语言模型；步骤5、确定低秩矩阵的秩：计算稀疏大语言模型每一层的重建误差，对重建误差进行排序，为重建误差较大的层分配较大的秩，重建误差较小的层分配较小的秩；步骤6、微调低秩矩阵：稀疏大语言模型权重保持冻结，只微调低秩矩阵；步骤7、合并低秩矩阵到大语言模型中：微调后的低秩矩阵和稀疏大语言模型的权重相加，得到微调后的稀疏大语言模型；步骤8、判断是否达到迭代轮次，如果达到迭代轮次，得到最终的稀疏大语言模型，进入步骤9；否则，继续步骤3-8；步骤9、模型评估：使用不同的数据集对稀疏大语言模型进行评估，验证其性能提升。
全文数据：
权利要求：
百度查询： 厦门大学 一种基于参数高效微调的大语言模型稀疏方法及对话生成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号