龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：重庆大学
摘要：本发明公开了一种基于自适应知识蒸馏的代码生成模型训练方法，该方法包括获取并格式化训练数据集，输入模板至生成器模型以产生预测结果，随后对学生模型和教师模型的输出结果进行软化处理，利用Softmax函数结合温度参数T获取概率分布。通过归一化处理得到归一化逻辑值，结合反向和正向KL散度，计算出自适应知识蒸馏损失函数，使用dam优化算法更新学生模型参数，并在每次参数更新后进行前向传递，评估模型的预测输出和损失值，确保训练的收敛性和稳定性。本发明还提供了详细的计算公式和模板内容，确保了方法的可实施性和有效性。通过本方法，可以显著提升模型在资源受限设备上的性能，同时保持高效的本地部署能力。
主权项：1.一种基于自适应知识蒸馏的代码生成模型训练方法，其特征在于：包括如下步骤：S101：获取训练数据集，包含指令和输入文本，并将其格式化为模板格式；S102：将上述模板同时输入学生模型和教师模型生成预测结果；S103：对学生模型输出结果进行软化处理，使用温度参数T进行Softmax处理，得到软化后的概率分布qθ；S104：对教师模型输出结果进行软化处理，使用与S103相同的温度参数T进行Softmax处理，得到软化后的概率分布p；S105：对学生模型及教师模型的概率分布进行归一化，得到归一化后的教师模型逻辑值和学生模型逻辑值S106：根据教师模型和学生模型的软化概率分布，结合反向KL散度及正向KL散度，计算自适应知识蒸馏损失S107：将计算得到的自适应损失函数反向传递给学生模型，使用反向传播算法计算损失函数相对于学生模型参数的梯度；S108：使用优化算法Adam更新学生模型的参数；S109：在更新学生模型参数后，进行一次前向传递，以计算学生模型在当前批量数据上的预测输出，并再次自适应知识蒸馏损失以评估模型在训练过程中的收敛性和稳定性；S110：重复执行上述步骤S105至S108，直至学生模型在训练达到预设的最大迭代次数，训练结束，得到训练好的学生模型；S111：将输入数据按S101方法格式化为模板格式，然后将格式化后的输入数据输入到训练好的学生模型中，生成预测结果。
全文数据：
权利要求：
百度查询： 重庆大学 一种基于自适应知识蒸馏的代码生成模型训练方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号