恭喜西安交通大学任鹏举获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜西安交通大学申请的专利基于奇偶性对数量化的无乘法深度神经网络模型压缩方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114239798B 。
龙图腾网通过国家知识产权局官网在2024-09-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111448717.9,技术领域涉及:G06N3/0464;该发明授权基于奇偶性对数量化的无乘法深度神经网络模型压缩方法是由任鹏举;马建;涂志俊;石莉莉;杨国茗;付格林;夏天;赵文哲;陈飞;辛景民设计研发完成,并于2021-11-30向国家知识产权局提交的专利申请。
本基于奇偶性对数量化的无乘法深度神经网络模型压缩方法在说明书摘要公布了:公开了基于奇偶性对数量化的无乘法深度神经网络模型压缩方法,方法中,首先根据预定比特位宽bit构建整型数值集合V,其元素可以表示为2的奇数幂和2的偶数幂的和,然后将浮点数据根据量化系数量化为低比特整型数据,接着再反量化得到浮点离散数据,进一步可构建低比特纯整型无乘法的深度神经网络,将卷积层和全连接层计算中大量存在的输入数据与权重参数的乘法计算替换成移位操作和加法计算。
本发明授权基于奇偶性对数量化的无乘法深度神经网络模型压缩方法在权利要求书中公布了:1.一种基于奇偶性对数量化的无乘法深度神经网络模型压缩方法,其包括以下步骤:第一步骤,采集数据,其中,采集数据包括形成待量化的浮点模型及其训练集,准备将要量化的浮点模型及其在ImageNet上训练完成的参数,根据分配给各参数的比特位数 B构建整型数值集合V,位表示2的偶数幂,位表示2的奇数幂,剩下1位表示符号位,得到,其中,m=2k,k,n=2k+1,k;第二步骤,将浮点数据根据量化系数映射为整型数据,T表示任意待量化的浮点张量,C表示所述浮点张量的动态范围:C=MaxAbsT,求得缩放系数为:,量化得到整型张量:,其中,Round函数将输入数据取整到距离最近的V中的整型数值,Clip函数将输入数据截断在和之间;第三步骤,将整型数据根据量化系数映射为离散的浮点数据,,为经过量化再反量化后得到的用于近似浮点张量T的离散数据,用与T的均方误差表示量化误差:,其中Numel函数返回输入的元素总数;第四步骤,利用所述第一步骤至第三步骤实现低比特无乘法深度神经网络,卷积计算,其中,conv表示卷积计算,XY表示输入输出浮点数据,WB表示权重偏置浮点参数,XYWB进行量化和反量化得到离散数据,用来近似卷积计算:,所述近似卷积计算等价变换成纯整型卷积计算公式:,并且将卷积计算中的输入数据与权重参数的乘法计算替换成移位操作和加法计算;其中,两个移位器和一个加法器替换一个乘法器以实现无乘法的卷积运算;或者,四个加法器替换一个乘法器以实现无乘法的卷积运算;其中,用成本较低的移位器和加法器替代了成本更高的乘法器,所述方法不仅很好地解决传统均匀量化整型数据分布和浮点数据分布不一致的问题,还克服了普通对数量化数值分布太过离散表达能力较低的弊端,从而极大地降低了量化误差,提高了低bit神经网络的准确性,适用于深度神经网络中常见的卷积Convolution和全连接Fully-Connected依赖密集的矩阵乘法计算的算子;所述方法应用在ImageNet大规模分类任务。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安交通大学,其通讯地址为:710049 陕西省西安市咸宁西路28号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。