买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京君正集成电路股份有限公司
摘要:本发明提供一种有效地提升4bit模型精度的量化方法,包括:S1.训练浮点模型;S2.准备校正集;S3.进行4bit量化统计minmax并保存;S4.4bit模型训练;S5.分析minmax的分布情况,设置minmax范围较大的值所在的层为8bit;S6,48bit混合模型训练;S7,判断是否收敛?如果是,则直接结束;如果否,则重新进行步骤S5.2。通过本方法能够降低后续量化模型带来的精度损失,试验证明,该方法对那些和默认值相差较大的网络都有切实可行的效果,能极大地提升低bit的量化精度。
主权项:1.一种有效地提升4bit模型精度的量化方法,其特征在于,所述方法包括以下步骤:S1,训练浮点模型:进行浮点模型的训练,得到一个精度能够接受的浮点模型;S2,准备校正集:所述校正集采用的是训练集的一部分,或是测试场景类似的图;S3,进行4bit量化统计minmax并保存:进行统计得到量化需要的minmax,去确定浮点数的动态范围;如果量化过程中的每一个FP32数值都在这个实际的动态范围内,所述动态范围指的是前面计算出来的最小值到最大值的范围,称这种为不饱和状态;反之如果出现FP32数值不在这个实际动态范围之内,称之为饱和状态;S4,4bit模型训练:加载浮点模型进行4bit模型的转换之后进行量化感知训练;训练完毕进行4bit模型的精度测试,如果精度达到要求,直接结束;如果未达到要求,则转至步骤S5;S5,分析minmax的分布情况,设置minmax范围大即在-6,6之外的值,该范围根据实际情况可调,所在的层为8bit,进一步包括:S5.1,分析每层的minmax的分布;S5.2,对于一些范围大的值的层设置为8bit,假设:一个40层的网络的feature的minmax的统计如下:min: -9.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 2 11 10 7 4 3 2 1 max: 0.0 0.5 1.0 1.5 2.0 2.5 3.0 9.5 2 3 3 6 4 10 8 2 则从上表中看出,大部分的min都在-2.0-1.0的范围内,只有少数两层在-9.5属于偏外;另外,大部分的max都在0.0-3.0范围内,只有少数两层在9.5属于偏外,此时就设置这几个值偏外的层为8bit,是将weight和feature都设置为8bit以保证精度,之后再根据设置的bit重新计算minmax,因为minmax的计算和当前的bit位有关,所以当某一层的bit位修改之后就需要按照minmax的方法重新计算,即求得浮点范围的最大值Rmax和最小值Rmin,另外量化范围的最大值为Qmax和最小值Qmin,然后通过尺度s=Rmax-RminQmax-Qmin,z=Qmax-Rmaxs进行线性映射:q=rs+z,然后继续走后面的流程;S6,48bit混合模型训练:本身是4bit模型,但上一步会将部分层置为8bit,所以整个网络就有4bit有8bit,是48bit混合模型,进行训练;S7,判断是否收敛?如果是,则直接结束;如果否,则重新进行步骤S5。
全文数据:
权利要求:
百度查询: 北京君正集成电路股份有限公司 一种有效地提升4bit模型精度的量化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。