买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜平安科技(深圳)有限公司申请的专利基于多教师模型的模型蒸馏方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114386604B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210044224.7，技术领域涉及：G06N3/045；该发明授权基于多教师模型的模型蒸馏方法、装置、设备及存储介质是由王健宗;李泽远设计研发完成，并于2022-01-14向国家知识产权局提交的专利申请。

本基于多教师模型的模型蒸馏方法、装置、设备及存储介质在说明书摘要公布了：本申请涉及人工智能领域，尤其涉及基于多教师模型的模型蒸馏方法，所述方法包括：获取训练样本数据及对应的硬标签，通过多个教师和第一学生模型对训练样本数据进行识别，得到多个第一软标签和第二软标签；根据硬标签、多个第一软标签和第二软标签，对第一学生模型进行知识蒸馏学习，生成第二学生模型并通过第二学生模型得到第三软标签；根据第一软标签和第三软标签更新教师模型选择策略，得到更新后的教师模型选择策略，基于更新后的教师模型选择策略重新确定对应的教师模型，并根据重新确定的教师模型对第一学生模型进行知识蒸馏学习，直至第一学生模型收敛，得到目标学生模型。由此能够使蒸馏得到的学生模型表现达到最佳，提高用户体验。

本发明授权基于多教师模型的模型蒸馏方法、装置、设备及存储介质在权利要求书中公布了：1.一种基于多教师模型的模型蒸馏方法，其特征在于，所述方法包括：获取训练样本数据和所述训练样本数据对应的硬标签，通过多个教师模型对所述训练样本数据进行识别，得到多个第一软标签，以及通过第一学生模型对所述训练样本数据进行识别，得到第二软标签，所述训练样本数据为句子对或图片；根据所述硬标签、所述多个第一软标签和所述第二软标签，对所述第一学生模型进行知识蒸馏学习，生成第二学生模型；其中，所述第一学生模型的模型参数和所述第二学生模型的模型参数不同；通过所述第二学生模型对所述训练样本数据进行识别，得到第三软标签；根据所述硬标签、所述第一软标签和所述第三软标签更新教师模型选择策略，得到更新后的教师模型选择策略，所述教师模型选择策略用于选择教师模型；基于所述更新后的教师模型选择策略重新确定对应的教师模型，并根据所述重新确定的教师模型对所述第一学生模型进行知识蒸馏学习，直至所述第一学生模型收敛，得到目标学生模型；所述根据所述硬标签、所述多个第一软标签和所述第二软标签，对所述第一学生模型进行知识蒸馏学习，生成第二学生模型，包括：根据所述多个第一软标签和所述第二软标签确定第一偏差值；根据所述硬标签和所述第二软标签确定第二偏差值；根据所述第一偏差值和所述第二偏差值确定第三偏差值，并根据所述第三偏差值对所述第一学生模型的模型参数进行初始化处理，生成第二学生模型；所述根据所述硬标签、所述第一软标签和所述第三软标签更新教师模型选择策略，得到更新后的教师模型选择策略，包括：根据所述硬标签和所述第三软标签确定第四偏差值；根据多个所述第一软标签和所述第四偏差值生成每个所述教师模型对应的状态向量参数；根据每个所述教师模型对应的状态向量参数确定更新策略；基于所述更新策略对所述教师模型选择策略进行更新，得到更新后的教师模型选择策略。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人平安科技(深圳)有限公司，其通讯地址为：518057 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。