买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中电金信软件有限公司

摘要：本发明提供一种二值神经网络的梯度重构方法、装置、设备及存储介质，所述方法包括：在前向传播过程中，通过量化函数对实值权重和实值激活分别进行二值量化处理，得到二值神经网络的二值权重和二值激活；按照同或及位运算对所述二值权重和二值激活进行卷积运算，得到卷积运算结果；根据所述卷积运算结果确定所述二值神经网络的损失函数的结果；在反向传播过程中，对所述损失函数的结果和二值权重求偏导，得到二值权重的梯度；根据所述二值权重的梯度，确定实值权重的梯度，以便于根据所述实值权重的梯度来更新实值权重。本发明通过同或运算和位运算来替代卷积运算中的加法和乘法运算，不但节省了运算时间，加快了推理速度，而且还提高了运算效率。

主权项：1.一种二值神经网络的梯度重构方法，其特征在于，包括：所述方法应用于部署有二值神经网络的设备，所述方法包括：获取待分类图像；在前向传播过程中，通过量化函数对实值权重和实值激活分别进行二值量化处理，得到二值神经网络的二值权重和二值激活；按照同或及位运算对所述二值权重和二值激活进行卷积运算，得到卷积运算结果；根据所述卷积运算结果确定所述二值神经网络的损失函数的结果；在反向传播过程中，对所述损失函数的结果和二值权重求偏导，得到二值权重的梯度；基于二值量化前后权重梯度之间的映射关系，根据所述二值权重的梯度，确定所述实值权重的梯度，以根据所述实值权重的梯度来更新实值权重，得到更新后的二值神经网络；利用训练后的二值神经网络对所述待分类图像进行分类；根据分类结果对所述待分类图像进行划分，得到划分结果；所述划分结果用于存储或展示；其中，所述基于二值量化前后权重梯度之间的映射关系，根据所述二值权重的梯度，确定实值权重的梯度，包括：基于二值量化前实值权重的梯度与二值量化后二值权重的梯度之间的映射关系，与所述二值量化后二值权重的梯度的乘积，得到二值量化前实值权重的梯度；所述映射关系的更新方法，包括：对于所述映射关系中的第一映射参数，是对所述二值量化前的实值权重的梯度进行裁剪，并将所述实值权重位于[-1,1]范围外的实值权重的梯度设置为0，不更新所述实值权重；对所述映射关系中的第二映射参数，所述参数的更新是基于反向传播算法，将所述参数的梯度计算通过链式法则进行分解，得到激活值的梯度和卷积运算结果，根据计算得到梯度更新所述参数，进而更新所述映射关系。

全文数据：

权利要求：

百度查询： 中电金信软件有限公司 二值神经网络的梯度重构方法、装置、设备及存储介质