北京字跳网络技术有限公司曾海恩获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京字跳网络技术有限公司申请的专利模型训练方法、装置及可读存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115511070B 。
龙图腾网通过国家知识产权局官网在2026-01-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202110700055.3,技术领域涉及:G06N3/096;该发明授权模型训练方法、装置及可读存储介质是由曾海恩;王星设计研发完成,并于2021-06-23向国家知识产权局提交的专利申请。
本模型训练方法、装置及可读存储介质在说明书摘要公布了:本公开涉及一种模型训练方法、装置及可读存储介质,其中,该方法包括:获取目标任务对应的第一样本数据集、第一教师模型和第一学生模型;其中,所述第一样本数据集包括至少一个第一样本数据;第一教师模型和第一学生模型均包括经过预训练的模型;根据所述第一样本数据集、第一教师模型以及第一学生模型进行知识蒸馏,直至满足预设收敛条件,获得目标学生模型。由于第一学生模型是经过预训练的模型,具备一定的性能,因此,本公开能够实现提升第一学生模型的收敛速度,提高知识蒸馏效率。
本发明授权模型训练方法、装置及可读存储介质在权利要求书中公布了:1.一种模型训练方法,其特征在于,包括: 获取目标任务对应的第一样本数据集、第一教师模型和第一学生模型;其中,所述第一样本数据集包括至少一个第一样本数据;所述第一教师模型和所述第一学生模型均包括经过预训练的模型,所述目标任务为图像识别任务; 将各第一样本数据分别输入第一教师模型和第一学生模型; 根据第一教师模型的中间层输出的结果和第一学生模型的中间层输出的结果,利用预先构建的均方误差函数,获得第一学生模型的中间层对应的损失信息Lossdistill1;计算第一教师模型的输出层输出的结果与第一学生模型的输出层输出的结果,利用预先构建的KL散度函数,获得第一学生模型的输出层对应的损失信息Lossdistill2;根据第一学生模型的中间层对应的损失信息Lossdistill1、第一学生模型的输出层对应的损失信息Lossdistill2进行求和或者加权计算,获得损失信息Lossdistill; 根据第一学生模型的中间层输出的结果以及第一样本数据携带的真值标注,利用预先构建的损失函数,计算获得第一学生模型的中间层对应的损失信息Lossgt1;并根据第一学生模型的输出层输出的结果以及第一样本数据携带的真值标注,计算获得第一学生模型的输出层对应的损失信息Lossgt2;根据损失信息Lossgt1和损失信息Lossgt2,进行求和或者加权计算,获得最终的损失信息Lossgt; 对所述损失信息Lossdistill和所述损失信息Lossgt,根据各自对应的权重系数,进行求和或者加权求和,获得第一损失信息;并根据第一损失信息,更新第一学生模型的中间层和输出层的参数的权重系数,直至满足预设收敛条件,获得目标学生模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京字跳网络技术有限公司,其通讯地址为:100190 北京市海淀区紫金数码园4号楼2层0207;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励