苏州元脑智能科技有限公司温东超获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉苏州元脑智能科技有限公司申请的专利知识蒸馏方法、电子设备及计算机可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120611768B 。
龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511071909.0，技术领域涉及：G06N3/096；该发明授权知识蒸馏方法、电子设备及计算机可读存储介质是由温东超;史宏志;赵健;崔星辰;张英杰设计研发完成，并于2025-07-31向国家知识产权局提交的专利申请。
本知识蒸馏方法、电子设备及计算机可读存储介质在说明书摘要公布了：本申请公开了一种知识蒸馏方法、电子设备及计算机可读存储介质，涉及人工智能技术领域，包括通过基于学生网络的初始网络结构中注意力头的数量对教师网络的注意力图矩阵进行分组，能够将教师网络高维注意力空间划分为与学生网络同维度的子空间，通过对组内的注意力图矩阵进行拼接，使每组拼接矩阵与初始网络结构的注意力头形成对齐，实现教师网络与学生网络注意力图之间较为规整的对应关系，从而能够计算蒸馏损失，实现将复杂教师网络的知识准确传递给轻量级学生网络。因此，可以解决多头注意力机制中教师网络与学生网络头数的差异，阻碍学生网络对教师网络知识的充分学习的问题，达到提高知识蒸馏效果，增强学生网络性能的技术效果。
本发明授权知识蒸馏方法、电子设备及计算机可读存储介质在权利要求书中公布了：1.一种知识蒸馏方法，其特征在于，包括： 根据教师网络的网络结构构建学生网络的初始网络结构； 对教师网络的多个第一注意力图矩阵进行分组；所述分组的数量与所述初始网络结构中注意力头的数量相同； 将各组组内的所述第一注意力图矩阵进行拼接，得到各组对应的拼接矩阵； 根据蒸馏损失对所述拼接矩阵和所述初始网络结构的第二注意力图矩阵进行计算，基于计算结果更新所述初始网络结构的网络参数，得到所述学生网络；包括：对所述拼接矩阵进行降维，以使降维后的所述拼接矩阵的维度与所述第二注意力图矩阵的维度相同；包括：采用目标矩阵对所述拼接矩阵进行降维；其中，所述目标矩阵为随着所述初始网络结构训练过程通过反向传播算法更新的可学习矩阵；基于降维后的所述拼接矩阵与所述第二注意力图矩阵进行计算，得到所述计算结果。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励