买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利一种用于神经网络训练的知识蒸馏算法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114169495B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111329117.0，技术领域涉及：G06N3/0464；该发明授权一种用于神经网络训练的知识蒸馏算法是由范益波;苟傲睿设计研发完成，并于2021-11-10向国家知识产权局提交的专利申请。

本一种用于神经网络训练的知识蒸馏算法在说明书摘要公布了：本发明属于神经网络技术领域，具体为一种用于神经网络训练的知识蒸馏算法。本发明知识蒸馏算法，涉及老师模型、学生模型以及特征转换模块；特征转移模块主要包括注意力机制转移模块（AT）和激活信息转移模块（AC）两部分；本发明利用复杂的老师模型通过特征层的激活信息以及注意力机制信息的转移，使简单的学生模型学习到有用的特征信息，从而提升学生模型的性能；在训练过程中，老师参与模型的训练，得到有用特征信息的学生模型不在老师的参与下进行前向推理。利用本发明算法进行图像分类，其Top1错误率和Top5错误率明显低于采用通常方法进行训练得到的图像分类的Top1错误率和Top5错误率。

本发明授权一种用于神经网络训练的知识蒸馏算法在权利要求书中公布了：1.一种用于图像分类神经网络训练的知识蒸馏方法，其特征在于，涉及老师模型、学生模型以及特征转换模块；所述特征转移模块包括注意力机制转移模块AT和激活信息转移模块AC两部分； 经过卷积网络特征提取后，输入图像X，通过卷积以及激活函数σ，得到输出信息Yi: 其中，是卷积权重，bi是卷积偏置，T代表矩阵转置操作，i表示卷积的通道数； 使用Yi的平方总和来压缩C个通道的信息，并将它们放在一个通道上以进行紧凑的空间表示: 公式2是注意力机制转移模块AT对于特征信息的处理，把C个通道的信息压缩到一个通道中，使一个三维的空间向量变成一个二维的向量；由此得到注意力机制转移模块信息； 对于激活信息的转移，设计一个Relu的变体作为激活函数；其中，m为负响应信息的期望值： “|”后面为判断条件，也就是小于0作为一次过滤，之后判断这些大于0的值的期望； 激活信息转移模块AC的输出为: 特征信息的转移在实际模型训练中表现为损失函数，通过不断减少损失函数的值，使学生模型特征信息更好的模仿学习到老师模型的有用信息；为此，设计针对该网络的损失函数： 注意力机制转移模块AT损失函数LATT,S为老师模型T和学生模型S注意力机制信息的平方差： LATT,S＝|FsumQT-FsumQS|2，5 其中，QT和QS分别对应的公式2得到的老师模型和学生模型的注意力机制信息； 激活信息转移模块AC损失函数LACT,S为老师和学生模型的激活信息平方差： LACT,S＝|maxM,QT-maxM,QS|2，6 式中，M为阈值，为QS与QT的平均值；注意力机制转移模块AT损失函数LATT,S与激活信息转移模块AC损失函数LACT,S的比值为1:2，则特征信息转移的总损失为： LF＝LAT+2LAC，7 将复杂的老师模型有用的特征信息，通过激活信息和注意力机制信息的转移，指导学生模型学到有用的特征信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。