恭喜杭州海康威视数字技术股份有限公司林晨获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜杭州海康威视数字技术股份有限公司申请的专利一种模型量化方法、装置、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119337045B 。
龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411873806.1,技术领域涉及:G06F17/16;该发明授权一种模型量化方法、装置、电子设备及存储介质是由林晨;彭博;李哲暘;谭文明设计研发完成,并于2024-12-18向国家知识产权局提交的专利申请。
本一种模型量化方法、装置、电子设备及存储介质在说明书摘要公布了:本申请实施例提供了一种模型量化方法、装置、电子设备及存储介质,涉及深度学习技术领域。方法包括:获取原始模型中待量化网络层的待量化权重矩阵;将待量化权重矩阵中各权重分为多个权重组;计算各权重组对应的第一模型损失;按照对应的第一模型损失从大到小的顺序确定当前待处理的权重组;以当前待处理的权重组对应的第二模型损失最小为优化目标,基于目标量化格式确定当前待处理的权重组的目标量化结果;按照对应的第一模型损失从大到小的顺序确定当前待处理的权重组,直至得到各权重组的目标量化结果;基于各权重组的目标量化结果得到量化后的目标模型。如此可以对原始模型进行量化,且量化后的目标模型的模型损失较小。
本发明授权一种模型量化方法、装置、电子设备及存储介质在权利要求书中公布了:1.一种模型量化方法,其特征在于,所述方法包括:针对原始模型中每一待量化网络层,获取该待量化网络层浮点格式的权重矩阵,作为待量化权重矩阵;对所述待量化权重矩阵中各权重进行分组,得到多个权重组;其中,一个权重组包含的权重对应该待量化网络层的同一个输入通道;针对每一权重组,利用该权重组的目标量化系数,按照激活感知权重量化算法计算将该权重组量化至目标量化格式时的模型损失,作为该权重组对应的第一模型损失;其中,在各备选量化系数中,按照该权重组的目标量化系数将该权重组量化至目标量化格式时的模型损失最小;所述目标量化格式为基于待部署所述原始模型的平台所支持的量化格式确定的;按照对应的第一模型损失从大到小的顺序,确定当前待处理的权重组;以当前待处理的权重组对应的第二模型损失最小为优化目标,从基于所述目标量化格式确定的当前的查找范围内,查找当前待处理的权重组的目标量化结果;并返回执行所述按照对应的第一模型损失从大到小的顺序,确定当前待处理的权重组的步骤,直至得到各权重组的目标量化结果;其中,当前待处理的权重组对应的第二模型损失表示当前的参考权重矩阵与所述待量化权重矩阵之间的损失;当前的参考权重矩阵为:利用当前已确定出的目标量化结果,以及在当前的查找范围内查找到的当前待处理的权重组的量化结果,对所述待量化权重矩阵中对应的权重组进行替换得到的;利用各权重组的目标量化结果对所述原始模型中该待量化网络层的待量化权重矩阵进行替换,得到量化后的目标模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州海康威视数字技术股份有限公司,其通讯地址为:310051 浙江省杭州市滨江区阡陌路555号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。