浙江中创天成科技有限公司马龙华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江中创天成科技有限公司申请的专利一种用于图像分类的神经网络联合量化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115861767B 。
龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211664911.5,技术领域涉及:G06V10/82;该发明授权一种用于图像分类的神经网络联合量化方法是由马龙华;杨颖青;马宏宇;田冠中;徐鸣;虞斌超设计研发完成,并于2022-12-23向国家知识产权局提交的专利申请。
本一种用于图像分类的神经网络联合量化方法在说明书摘要公布了:本发明公开了一种用于图像分类的神经网络联合量化方法,解决了用于图像分类的深度神经网络难以在资源受限的嵌入式设备上高效存储和运行的问题,实现了神经网络的压缩和加速。本发明利用标量量化将乘积量化得到的映射码本的元素值转换为8位整型数。再配合8位整型的激活值,实现神经网络的定点运算,达到计算加速的目的。为了消除由不同输入引起的激活值分布误差,利用饱和截断法缩小激活值的量化区间,实现激活值的8位标量量化。最后向神经网络插入伪量单元,引入标量量化误差,通过反向传播更新参数并消除误差。本发明充分结合了标量量化与乘积量化的优势,能在显著减小模型体积的同时降低网络运算量。
本发明授权一种用于图像分类的神经网络联合量化方法在权利要求书中公布了:1.一种用于图像分类的神经网络联合量化方法,其特征在于,包含以下步骤: 1从公开数据库中下载标准图像分类数据集,并划分训练集和测试集; 2从公开模型库下载得到用于图像分类的深度神经网络模型,获取神经网络模型的未压缩浮点型权重参数和网络层总数;使用到的神经网络模型为多支路卷积网络模型ResNet; 3从未压缩浮点型深度神经网络模型的第二层网络开始逐层量化神经网络模型的权值矩阵;首先对权值矩阵进行参数预处理: 对于某一层网络,设网络层的权值矩阵其中Cin表示输入通道数,Cout表示输出通道数,然后将矩阵W的每一列分为m个连续的子向量v,每个子向量的维度d=Cinm,由此得到m个子矩阵并按列向量形式展开写作为Wsub的子向量,维度为d;再把m个子矩阵按列拼接成一个新的整数型权值矩阵表示如下: 其中3×3卷积对应的子向量v的维数为9,即1×1的卷积和全连接层的子向量v的维数设为4,即 4使用乘积量化算法求出映射码本C和索引矩阵I:用k-means算法学习矩阵的映射码本,将权值矩阵转换为映射码本C和索引矩阵I的形式;每个训练回合随机从标准图像分类数据集中选择满足训练数量需求的图片输入到网络中,进行若干回合训练; 5使用标量量化将码本C中的元素值转换为8位整数;具体为:首先统计码本C的取值范围xmin,xmax,接着计算缩放系数S、零点偏移量Z,进而计算浮点数对应的8位整数,码本C被转换成整数型码本 6输入训练图像数据,进行前向计算,首先将整数型码本和索引矩阵I恢复为权值的近似矩阵在网络中的近似矩阵后添加伪量化单元以模拟出量化误差,伪量化单元定义如下: 其中Wfloat为浮点型权值矩阵,clamp·表示钳制操作,表示如下: 伪量化单元负责记录权值矩阵的数值范围,计算出缩放系数和零点偏移量,同时计算出量化后的网络模型输出yquant与浮点数网络模型的输出yfloat的KL散度值 7利用随机梯度下降法反向计算,消除误差,更新网络参数,训练完成后,误差收敛,得到误差校正后的权值矩阵; 8用索引矩阵I和反推出误差校正后的码本Ccorrect,定义如下: 式中ik为索引矩阵I的分量,为矩阵的子向量分量; 9所有网络层的权值矩阵完成量化和误差校正的步骤后,将所有码本Ccorrect和索引矩阵I组合成一个用于图像分类的压缩模型,获取需要进行分类的图像数据,输入到训练完成后的压缩模型中,进行图像分类,提高计算效率。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江中创天成科技有限公司,其通讯地址为:315400 浙江省宁波市鄞州区首南街道科信大厦2幢3号401-2室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励