买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜之江实验室申请的专利一种模型蒸馏方法、装置及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119692430B 。

龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510205236.7，技术领域涉及：G06N3/096；该发明授权一种模型蒸馏方法、装置及介质是由袁勇;施航;缪锐;孙沁璇;刘洋;庞心健设计研发完成，并于2025-02-24向国家知识产权局提交的专利申请。

本一种模型蒸馏方法、装置及介质在说明书摘要公布了：本申请公开了一种模型蒸馏方法、装置及介质，该方法包括：获取教师模型的教师相似度矩阵，学生模型的学生相似度矩阵，以及表征教师模型与学生模型相似度排序差异的排序差异矩阵；教师模型的计算精度高于学生模型。根据教师相似度矩阵构造对比学习样本对，并根据排序差异矩阵构造排序差异样本对；基于对比学习样本对和排序差异样本对构建蒸馏损失函数；通过蒸馏损失函数对学生模型进行迭代训练，得到目标学生模型。由此，基于教师模型构造对比学习样本对和排序差异样本对，构建蒸馏损失函数，并通过该蒸馏损失函数对学生模型进行迭代训练，使得学生模型可以学习教师模型的知识，提升学生模型准确性，从而实现同时兼顾计算效率和计算准确性。

本发明授权一种模型蒸馏方法、装置及介质在权利要求书中公布了：1.一种模型蒸馏方法，其特征在于，所述方法包括： 获取教师模型的教师相似度矩阵，学生模型的学生相似度矩阵，以及表征所述教师模型与所述学生模型相似度排序差异的排序差异矩阵；所述教师模型的计算精度高于所述学生模型的计算精度；所述教师模型和所述学生模型均为应用于图像分类任务的残差网络，且所述教师模型的网络层数大于所述学生模型的网络层数；所述相似度矩阵由输出结果之间的相似度值构成，且用于表征输出样本之间的差异程度； 根据所述教师相似度矩阵，构造对比学习样本对；并根据所述排序差异矩阵，构造排序差异样本对； 基于所述对比学习样本对和所述排序差异样本对，构建蒸馏损失函数； 通过所述蒸馏损失函数对所述学生模型进行迭代训练，得到目标学生模型； 基于所述对比学习样本对和所述排序差异样本对，构建蒸馏损失函数，包括： 获取所述学生模型的任务类型； 根据所述任务类型，确定所述学生模型的标签损失函数； 根据所述对比学习样本对，确定学习对比损失函数；并根据所述排序差异样本对，确定排序差异损失函数； 根据所述标签损失函数、所述学习对比损失函数和所述排序差异损失函数，确定所述蒸馏损失函数； 根据所述排序差异矩阵，构造排序差异样本对，包括： 确定所述排序差异矩阵中满足预设条件的目标对象；其中，所述预设条件包括相似度排序差值大于预设值，所述相似度排序差值从大到小排序结果中的前预设分位数，所述排序结果的前预设个中的任意一项； 将所述目标对象对应的样本作为所述排序差异样本对。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。