中国科学院信息工程研究所陈小军获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学院信息工程研究所申请的专利一种基于相似度正则的神经网络剪枝方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115796262B 。
龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211440959.8,技术领域涉及:G06N3/082;该发明授权一种基于相似度正则的神经网络剪枝方法是由陈小军;王少璞;熊刚;赵振东;丁阳阳;李晓颖设计研发完成,并于2022-11-17向国家知识产权局提交的专利申请。
本一种基于相似度正则的神经网络剪枝方法在说明书摘要公布了:本发明公开了一种基于相似度正则的神经网络剪枝方法。本方法为:1对待处理的神经网络进行预训练;2对预训练后的神经网络进行剪枝:首先设定神经网络的稀疏度为s%;然后计算神经网络参数的第s分位数,将参数绝对值小于该第s分位数的参数全局置零,得掩码m;根据所得掩码m更新所述神经网络的权重矩阵w;3对剪枝后的神经网络进行微调。本发明通过提高网络权重矩阵与0矩阵的余弦相似度来降低输出对输入的依赖,从而提高预测的鲁棒性,这样只有少部分输入参与最终的计算,而大部分输入都被抛弃;因此,不仅稀疏网络的预测性能获得了提升,神经网络也可以实现更高的稀疏度。
本发明授权一种基于相似度正则的神经网络剪枝方法在权利要求书中公布了:1.一种基于相似度正则的神经网络剪枝方法,其步骤包括: 1对待处理的神经网络进行预训练: 11对神经网络第i层的权重wi进行标准化以消除量纲,得到标准化权重计算标准化权重与0.5矩阵,即经过正则化的0矩阵,的余弦相似度γwi,所述神经网络的层数为n层,i=1~n,n为大于1的自然数;所述神经网络为压缩特征在内部进行单项传递的神经网络; 12将所述神经网络中所有层的余弦相似度取平均,得到所述神经网络与0矩阵的整体相似度Γw;然后将整体相似度Γw加入所述神经网络的损失函数中,得到损失函数其中,m为训练样本集x中的训练样本总数,yj为第j个训练样本xj的标签,CE代表交叉熵函数,λ是惩罚权重,fwxj为神经网络fw对输入训练样本xj的预测输出结果;所述训练样本为人脸图像或车辆图像; 13利用所述神经网络对应的训练样本集x训练所述神经网络,利用所得损失值生成梯度对所述神经网络的参数进行优化; 14重复步骤11-13多次完成对所述神经网络的预训练; 2对预训练后的神经网络进行剪枝:首先设定神经网络的稀疏度为s%;然后计算神经网络参数的第s分位数,将参数绝对值小于该第s分位数的参数全局置零,得掩码m;根据所得掩码m更新所述神经网络的权重矩阵w; 3对剪枝后的神经网络进行微调: 31将神经网络的损失函数更新为 32利用所述训练样本集x训练所述神经网络,利用所得损失值生成梯度,然后利用掩码m对所得梯度进行置零后对所述神经网络的参数进行优化; 33重复步骤32多次完成对所述神经网络的微调; 4利用微调后的神经网络进行目标检测;其中,所述训练样本为人脸图像时,目标检测任务为人脸识别任务;所述训练样本为车辆图像时,目标检测任务为车牌识别任务。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学院信息工程研究所,其通讯地址为:100093 北京市海淀区闵庄路甲89号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励