买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京控制与电子技术研究所申请的专利一种基于注意力头和自蒸馏的网络剪枝方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119886259B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510347973.0，技术领域涉及：G06N3/082；该发明授权一种基于注意力头和自蒸馏的网络剪枝方法是由张宝昌;吕金虎;倪亮;姜丰;赵昌迪;刘畅;陈鑫;田野设计研发完成，并于2025-03-24向国家知识产权局提交的专利申请。

本一种基于注意力头和自蒸馏的网络剪枝方法在说明书摘要公布了：本说明书公开了一种基于注意力头和自蒸馏的网络剪枝方法，属于多模态大模型剪枝技术领域，包括基于令牌剪枝器、注意力头剪枝器以及基础模型，获得学生模型和教师模型；所述令牌剪枝器用于对输入基础模型的令牌进行重要性评估和剪枝；所述注意力头剪枝器用于对基础模型的注意力头进行重要性评估和剪枝；基于训练样本和自蒸馏的目标函数对学生模型和教师模型进行训练，获得优化后的学生模型；所述学生模型中的令牌剪枝器和注意力头剪枝器是激活的；所述教师模型中的令牌剪枝器和注意力头剪枝器是冻结的，解决目前的多模态剪枝方法存在的无法进行动态剪枝以及没有有效的考虑视觉模态和语言模态之间的交互关系的问题。

本发明授权一种基于注意力头和自蒸馏的网络剪枝方法在权利要求书中公布了：1.一种基于注意力头和自蒸馏的网络剪枝方法，其特征在于，包括： 基于令牌剪枝器、注意力头剪枝器以及基础模型，获得学生模型和教师模型；所述令牌剪枝器用于对输入基础模型的令牌进行重要性评估和剪枝；所述注意力头剪枝器用于对基础模型的注意力头进行重要性评估和剪枝； 基于训练样本和自蒸馏的目标函数对学生模型和教师模型进行训练，获得优化后的学生模型；所述学生模型中的令牌剪枝器和注意力头剪枝器是激活的；所述教师模型中的令牌剪枝器和注意力头剪枝器是冻结的； 所述令牌剪枝器对输入基础模型的令牌进行重要性评估和剪枝包括： 将目标令牌输入局部策略网络，计算获得目标令牌的局部重要性分数； 将视觉模态和文本模态的全局表示进行融合处理和映射处理，获得跨模态的全局表示； 将跨模态的全局表示和目标令牌输入全局策略网络，计算获得目标令牌的跨模态的全局重要性分数； 基于目标令牌的局部重要性分数和全局重要性分数的和，获得目标令牌的最终重要性分数； 基于目标令牌的最终重要性分数进行目标令牌的剪枝或保留； 所述将目标令牌输入局部策略网络，计算获得目标令牌的局部重要性分数包括： 对目标令牌进行降维处理，获得降维后的目标令牌； 通过随机梯度下降学习，获得局部策略网络的可学习参数； 将降维后的目标令牌输入局部策略网络，计算获得目标令牌的局部重要性分数； 所述注意力头剪枝器对基础模型的注意力头进行重要性评估和剪枝包括： 将当前模态和另一模态的全局表示输入注意力剪枝器，计算获得当前模态的注意力头的重要性分数； 基于神经网络阈值函数将当前模态的注意力头的重要性分数映射到0和1之间，获得当前模态的注意力头的剪枝掩膜； 若注意力头的剪枝掩膜为1，则保留当前模态的注意力头，否则，则移除当前模态的注意力头； 所述基于训练样本和自蒸馏的目标函数对学生模型和教师模型进行训练，获得优化后的学生模型包括： 将训练样本输入教师模型，获得训练样本在教师模型的预测置信度； 基于训练样本在教师模型的预测置信度对训练样本进行降序排序，获得降序样本； 从降序样本从抽取目标样本输入教师模型和学生模型，并按照自蒸馏的目标函数以批量梯度下降的方法进行模型参数更新，获得参数更新后的学生模型和教师模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京控制与电子技术研究所，其通讯地址为：100038 北京市西城区木樨地北里甲51号100038；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。