买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学;中国船舶科学研究中心申请的专利一种用于序列标注的引力场约束模型蒸馏方法、系统、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116737927B 。

龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310681569.8，技术领域涉及：G06N3/096；该发明授权一种用于序列标注的引力场约束模型蒸馏方法、系统、电子设备和存储介质是由文怡;钱卫东;朱珈乐;张小丫;闫岱峻;李晓瑜设计研发完成，并于2023-06-09向国家知识产权局提交的专利申请。

本一种用于序列标注的引力场约束模型蒸馏方法、系统、电子设备和存储介质在说明书摘要公布了：本发明公开了一种用于序列标注的引力场约束模型蒸馏方法、系统、电子设备和存储介质，方法包括以下步骤：获取经过训练的教师模型和未经过训练的学生模型；对学生模型进行若干次训练，每次训练包括以下子步骤：得到蒸馏损失；得到真实损失；将学生模型中微调的参数的更新幅度进行计算，得到约束损失；利用蒸馏损失、真实损失和约束损失进行反向传播更新，对学生模型的参数进行微调训练。在本发明中，通过在微调过程中，加入对参数更新的约束机制，使模型在微调过程中尽可能保持预训练中学习到的语言知识的记忆，同时又能够通过微调训练对下游任务进行适配。

本发明授权一种用于序列标注的引力场约束模型蒸馏方法、系统、电子设备和存储介质在权利要求书中公布了：1.一种用于序列标注的引力场约束模型蒸馏方法，其特征在于：包括以下步骤： 获取经过训练的教师模型和未经过训练的学生模型； 对学生模型进行若干次训练，每次训练包括以下子步骤： 将待标注的文本序列分别输入至教师模型和学生模型，对教师模型输出的第一类别预测概率和学生模型输出的第二类别预测概率进行KL散度计算，得到蒸馏损失； 将带分类标签的文本序列输入至学生模型，对学生模型输出的第三类别预测概率和分类标签进行交叉信息熵计算，得到真实损失； 将学生模型中微调的参数的更新幅度进行计算，得到约束损失； 利用蒸馏损失、真实损失和约束损失进行反向传播更新，对学生模型的参数进行微调训练； 所述蒸馏损失的计算方式为： ； 式中，表示为蒸馏损失，表示待标注的文本序列，表示教师模型输出的第一类别预测概率中预测为类别的预测概率，表示学生模型输出的第二类别预测概率中预测为类别的类别概率；表示对所有类别进行运算； 所述真实损失的计算方式为： ； 式中，表示真实损失，n表示预测分类的总类别数，表示分类标签，表示学生模型输出的第二类别预测概率； 所述约束损失的计算方式为： ； 式中，表示约束损失，为学生模型中每个微调的参数的变化量即更新幅度，N表示微调的参数的数量，是约束项的权重因子，是一个超参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学;中国船舶科学研究中心，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。