浙江大学宋明黎获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利基于卷积神经网络预训练模型的卷积核激活值正则化方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116843011B 。
龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310841509.8,技术领域涉及:G06N3/084;该发明授权基于卷积神经网络预训练模型的卷积核激活值正则化方法和系统是由宋明黎;徐文祥;陈琳;贾志杰;冯尊磊设计研发完成,并于2023-07-11向国家知识产权局提交的专利申请。
本基于卷积神经网络预训练模型的卷积核激活值正则化方法和系统在说明书摘要公布了:基于卷积神经网络预训练模型的卷积核激活值正则化方法和系统,其方法包括:1预训练卷积神经网络模型;2计算卷积核产生的激活值的重要程度;3正则化处理卷积核产生的激活值,产生新的激活值,使用新的激活值代替原先的激活值;4基于正则化处理之后的卷积神经网络模型对图像进行分类。本发明找到卷积神经网络预训练模型中每个卷积核产生的激活值的重要程度,基于激活值的重要程度对卷积核激活值进行正则化处理。根据分类结果计算损失函数,利用损失函数对卷积神经网络的参数进行更新,提升预训练卷积神经网络的图像分类性能。
本发明授权基于卷积神经网络预训练模型的卷积核激活值正则化方法和系统在权利要求书中公布了:1.基于卷积神经网络预训练模型的卷积核激活值正则化方法,包括以下步骤: S1.预训练卷积神经网络模型; 给定任意的卷积神经网络模型,使用交叉熵损失函数在某个图像分类数据集上训练至模型收敛,得到一个预训练权重;该权重将作为下面步骤中模型的初始化; S2.计算卷积核产生的激活值的重要程度; S2.1使用预训练权重初始化卷积神经网络模型; 使用和步骤S1中相同的卷积神经网络,并使用步骤S1中得到的预训练权重初始化卷积神经网络模型; S2.2获取卷积核激活值对应分布的均值和方差; 对于卷积神经网络的第l层卷积层上的卷积核k,其激活值对应的高斯分布的均值为μk,标准差为σk,这两个参数值在第l层卷积层之后的批归一化层的模型参数中直接获取; S2.3计算卷积核产生激活值的重要程度; 对于单张图像,该图像在第l层卷积层的卷积核k上产生的激活值设为ak;如果激活值ak越靠近对应卷积核k的均值μk,这个激活值需要给予较大的权重;如果激活值ak越远离卷积核k的均值μk,则该激活值需要给予较小的权重;根据该形式下的卷积核激活值重要程度的定义,可以使用高斯函数积分的变体计算激活值的重要程度:如果激活值小于等于均值,则取高斯函数在激活值位置的积分;如果激活值大于均值,则取激活值关于均值对称位置的积分;公式化表述如下: 对于单张图像在卷积核k上产生的激活值ak,如果ak≤μk,则权重值wk的计算公式如下: 其中,μk为卷积核k的均值,σk为卷积核k的方差,exp代表以自然常数e为底的指数函数,π代表圆周率;上述表达式可以使用误差函数简化: 其中,ak代表卷积核k产生的激活值,μk为卷积核k的均值,σk为卷积核k的方差,erf代表误差函数; 对于单张图像在卷积核k产生的激活值ak,如果ak>μk,权重值wk为激活值ak关于均值μk对称位置的高斯函数积分,计算公式如下: 综上所述,单张图像在卷积核k上产生的激活值的重要程度如下: S3.正则化处理卷积核产生的激活值,产生新的激活值,使用新的激活值代替原先的激活值; 单张图像在第l层卷积层的卷积核k上产生的激活值为ak,对其正则化处理之后的新激活值为wk*ak,并使用新激活值代替原先的激活值,其中wk是通过公式4计算得到的激活值ak的重要程度,之后使用交叉熵损失函数,并通过反向传播算法更新模型参数,从而提升模型的性能。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。