买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种基于近似乘法的神经网络混合近似及误差补偿方法，包括：获取神经网络模型所包含的所有卷积层和全连接层；调用由若干个近似乘法器组成近似乘法器数据库，作为对应的搜索空间；将搜索空间内的所有已知近似乘法器的二进制真值表加入神经网络模型的推理路径，根据神经网络模型对应的应用场景的实际需求，对神经网络模型中的卷积层和全连接层采用的精确乘法进行混合近似：逐层混合近似和逐权重混合近似；对混合近似后的神经网络模型进行误差补偿。本发明能够用最接近真实情况的方法测量近似乘法器的应用为神经网络带来的精度损失，能够更精确地指导网络友好型乘法器的设计，不仅能取得更小的精度损失，还能节约更多的硬件能耗。

主权项：1.一种基于近似乘法的神经网络混合近似及误差补偿方法，其特征在于，所述神经网络混合近似及误差补偿方法包括以下步骤：S1，对导入的神经网络模型的网络结构进行分析，获取其所包含的所有卷积层和全连接层；结合该神经网络所加载的硬件加速器的性能参数，调用由若干个近似乘法器组成近似乘法器数据库，作为对应的搜索空间，搜索空间内的近似乘法器数量与卷积核大小相适配；S2，将搜索空间内的所有已知近似乘法器的二进制真值表加入神经网络模型的推理路径，根据神经网络模型对应的应用场景的实际需求，对神经网络模型中的卷积层和全连接层采用的精确乘法进行混合近似：其中，神经网络模型的推理路径是指神经网络参数的前向传输和运算；当应用场景以节约更多硬件资源为目标，采用逐层混合近似；具体地，对预训练的神经网络模型按层划分，逐层从近似乘法器数据库中选择对应的近似乘法器，每层使用近似乘法器之前的权重分布D和使用选择的近似乘法器之后的等效权重分布D*之间的相关系数ρ大于预设的相关系数阈值，进行逐层混合近似；当应用场景以获得更高网络精度为目标，采用逐权重混合近似；具体地，对预训练的神经网络模型按权重划分，为每个权重从近似乘法器数据库中选择方差关联品质因子最小的近似乘法器，进行逐权重混合近似；S3，将神经网络模型加载至相应的硬件加速器，在神经网络模型运作过程中，采用筛选出的近似乘法器对神经网络模型的卷积层和全连接层中的所有精确乘法进行运算；其中，对混合近似后的神经网络模型进行误差补偿，误差补偿过程包括：以近似乘法器的错误距离均方根最小为约束，在神经网络推理阶段对权值进行微调并更新；错误距离均方根RMS_ED的计算公式为： 式中，M为一个N-bit近似乘法器，ap和bq为近似乘法器的两个输入操作数，p＝0,1,2,…,2N-1，q＝0,1,2,…,2N-1。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于近似乘法的神经网络混合近似及误差补偿方法