买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜平安科技(深圳)有限公司申请的专利基于知识蒸馏的模型训练方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115062769B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210816261.5，技术领域涉及：G06N3/0464；该发明授权基于知识蒸馏的模型训练方法、装置、设备及存储介质是由张楠;王健宗;瞿晓阳设计研发完成，并于2022-07-12向国家知识产权局提交的专利申请。

本基于知识蒸馏的模型训练方法、装置、设备及存储介质在说明书摘要公布了：本发明适用于人工智能技术领域，尤其涉及一种基于知识蒸馏的模型训练方法、装置、设备及存储介质，该方法通过获取满足目标条件的第一模型和不满足目标条件的第二模型，根据第一模型的输出构建的优化损失函数，得到更新后的第二模型，计算并确定目标相似度，构建相似度损失函数，并将相似度损失函数与优化损失函数的和作为目标损失函数，对第二模型进行训练，得到满足目标条件的第二模型。将第一模型与第二模型中网络层之间的表征相似度作为第二模型中损失函数的一部分，充分利用了网络中间层的信息，增加了第二模型学习第一模型的能力和范围，从而提高第二模型训练时的稳定性和收敛性。

本发明授权基于知识蒸馏的模型训练方法、装置、设备及存储介质在权利要求书中公布了：1.一种基于知识蒸馏的模型训练方法，其特征在于，包括：获取满足目标条件的第一模型和不满足所述目标条件的第二模型，所述第一模型包括M个网络层，所述第二模型包括N个网络层，N、M均为大于零的整数；将带有原始标签的第一训练样本输入至所述第一模型中，以所述第一模型输出的新标签更新所述第一训练样本对应的原始标签，得到第二训练样本；利用所述第一训练样本与所述第二训练样本，分别对第二模型进行训练，得到第一知识蒸馏损失函数与第二知识蒸馏损失函数；对所述第一知识蒸馏损失函数与所述第二知识蒸馏损失函数设置不同的初始参数，得到初始蒸馏损失函数；使用梯度下降算法对所述初始蒸馏损失函数进行参数更新，得到目标参数，使用所述目标参数更新初始蒸馏损失函数，得到优化损失函数；根据所述优化损失函数，更新所述第二模型的初始损失函数，得到更新后的第二模型；使用相同的训练集对第一模型和更新后的第二模型进行训练，将训练集中数据分别输入至第一模型和更新后的第二模型中，获取第二模型的各个网络层输出的特征矩阵，和第一模型的各个网络层输出的特征矩阵，计算所述第一模型中M个网络层分别与所述更新后的第二模型中N个网络层的表征相似度，通过预设选取条件，确定目标相似度；根据所述目标相似度，构建相似度损失函数，并将所述相似度损失函数与所述优化损失函数的和作为目标损失函数；使用训练集对所述第二模型进行训练，直至所述目标损失函数收敛，得到满足所述目标条件的第二模型，所述训练集对录音数据进行预处理后得到的数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人平安科技(深圳)有限公司，其通讯地址为：518000 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。