华南理工大学郭锴凌获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华南理工大学申请的专利一种联合比特量化和比特权重搜索的模型压缩方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115358383B 。
龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210790456.7,技术领域涉及:G06N3/082;该发明授权一种联合比特量化和比特权重搜索的模型压缩方法是由郭锴凌;冯永安;钟研;陈雨楠设计研发完成,并于2022-07-06向国家知识产权局提交的专利申请。
本一种联合比特量化和比特权重搜索的模型压缩方法在说明书摘要公布了:本发明公开了一种联合比特量化和比特权重搜索的模型压缩方法,包括以下步骤:S1、加载图像数据并对图像数据进行预处理;S2、建立卷积神经网络模型,设定卷积神经网络模型中对应的比特搜索空间和权重搜索空间;S3、对卷积神经网络模型进行联合搜索训练;S4、选取比特搜索结果中的最大概率位宽,以构建轻量化网络,并保存联合搜索时最后以最大概率位宽得到的权重参数作为轻量化网络的权重参数,再进行权重搜索来进一步优化轻量化网络模型,输出压缩了的优化轻量化网络模型。
本发明授权一种联合比特量化和比特权重搜索的模型压缩方法在权利要求书中公布了:1.一种联合比特量化和比特权重搜索的模型压缩方法,其特征在于,包括以下步骤: S1、加载图像数据并对图像数据进行预处理; S2、建立卷积神经网络模型,设定卷积神经网络模型中对应的比特搜索空间和权重搜索空间; S3、对卷积神经网络模型进行联合搜索训练;对于搜索中得到的比特和权重的各个选择,使用类softmax进行归一化,达到对比特和权重选择的连续松弛化,进而可在训练中使用梯度下降进行优化搜索,同时设置温度指数衰减,使搜索得到的比特和权重选择概率矩阵近似one-hot编码,使比特和权重选择能收敛到单一选择中; S4、选取比特搜索结果中的最大概率位宽,以构建轻量化网络,并保存联合搜索时最后以最大概率位宽得到的权重参数作为轻量化网络的权重参数,再进行权重搜索优化轻量化网络模型,输出压缩的优化轻量化网络模型; 对卷积神经网络模型的其中一层,设总共有N种可选择的比特数,则搜索第m个比特的选择概率由下式进行计算: 其中,ps表示比特选择概率,进而表示搜索第m个比特的选择概率,N为可选择的比特数的种数,为第m个比特数归一化前的选择权重,τ0是设定的衰减温度,为第j个比特数归一化前的选择权重; 对卷积神经网络模型的其中一层,设总共有N种可选择的比特数,设第m个比特数对应有vm个可供选择的量化权重值,则搜索中第m个比特数的第i个量化权重值的选择概率由下式进行计算: 其中,p表示量化权重值的选择概率,进而添加了上下标的表示搜索中第m个比特数的第i个量化权重值的选择概率;vm表示第m个比特数对应可供选择的量化权重值的个数;是可学习的参数,为第m个比特数第j个量化权重值归一化前的选择权重,τ1为预先设定的衰减温度,为第m个比特数第i个量化权重值归一化前的选择权重。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华南理工大学,其通讯地址为:510640 广东省广州市天河区五山路381号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。