恭喜南京航空航天大学陈珂获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜南京航空航天大学申请的专利一种基于近似乘法的神经网络混合近似及误差补偿方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115099405B 。
龙图腾网通过国家知识产权局官网在2024-09-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210715089.4,技术领域涉及:G06N3/08;该发明授权一种基于近似乘法的神经网络混合近似及误差补偿方法是由陈珂;梁思圆;刘伟强设计研发完成,并于2022-06-23向国家知识产权局提交的专利申请。
本一种基于近似乘法的神经网络混合近似及误差补偿方法在说明书摘要公布了:本发明公开了一种基于近似乘法的神经网络混合近似及误差补偿方法,包括:获取神经网络模型所包含的所有卷积层和全连接层;调用由若干个近似乘法器组成近似乘法器数据库,作为对应的搜索空间;将搜索空间内的所有已知近似乘法器的二进制真值表加入神经网络模型的推理路径,根据神经网络模型对应的应用场景的实际需求,对神经网络模型中的卷积层和全连接层采用的精确乘法进行混合近似:逐层混合近似和逐权重混合近似;对混合近似后的神经网络模型进行误差补偿。本发明能够用最接近真实情况的方法测量近似乘法器的应用为神经网络带来的精度损失,能够更精确地指导网络友好型乘法器的设计,不仅能取得更小的精度损失,还能节约更多的硬件能耗。
本发明授权一种基于近似乘法的神经网络混合近似及误差补偿方法在权利要求书中公布了:1.一种基于近似乘法的神经网络混合近似及误差补偿方法,其特征在于,所述神经网络混合近似及误差补偿方法包括以下步骤:S1,对导入的神经网络模型的网络结构进行分析,获取其所包含的所有卷积层和全连接层;结合该神经网络所加载的硬件加速器的性能参数,调用由若干个近似乘法器组成近似乘法器数据库,作为对应的搜索空间,搜索空间内的近似乘法器数量与卷积核大小相适配;S2,将搜索空间内的所有已知近似乘法器的二进制真值表加入神经网络模型的推理路径,根据神经网络模型对应的应用场景的实际需求,对神经网络模型中的卷积层和全连接层采用的精确乘法进行混合近似:其中,神经网络模型的推理路径是指神经网络参数的前向传输和运算;当应用场景以节约更多硬件资源为目标,采用逐层混合近似;具体地,对预训练的神经网络模型按层划分,逐层从近似乘法器数据库中选择对应的近似乘法器,每层使用近似乘法器之前的权重分布D和使用选择的近似乘法器之后的等效权重分布D*之间的相关系数ρ大于预设的相关系数阈值,进行逐层混合近似;当应用场景以获得更高网络精度为目标,采用逐权重混合近似;具体地,对预训练的神经网络模型按权重划分,为每个权重从近似乘法器数据库中选择方差关联品质因子最小的近似乘法器,进行逐权重混合近似;S3,将神经网络模型加载至相应的硬件加速器,在神经网络模型运作过程中,采用筛选出的近似乘法器对神经网络模型的卷积层和全连接层中的所有精确乘法进行运算;其中,对混合近似后的神经网络模型进行误差补偿,误差补偿过程包括:以近似乘法器的错误距离均方根最小为约束,在神经网络推理阶段对权值进行微调并更新;错误距离均方根RMS_ED的计算公式为: 式中,M为一个N-bit近似乘法器,ap和bq为近似乘法器的两个输入操作数,p=0,1,2,…,2N-1,q=0,1,2,…,2N-1。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京航空航天大学,其通讯地址为:211106 江苏省南京市江宁区将军大道29号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。