买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国网山东省电力公司聊城供电公司;国家电网有限公司申请的专利一种三值神经网络逐层优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114943335B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210414868.0，技术领域涉及：G06N3/084；该发明授权一种三值神经网络逐层优化方法是由尹晓敏;刘福涛;王付奎;王馨悦;鲁威志;李晓磊;曹维达;姜秋波;万月忠;李振玲;徐彪;李云龙;杨超尘;陈芳设计研发完成，并于2022-04-16向国家知识产权局提交的专利申请。

本一种三值神经网络逐层优化方法在说明书摘要公布了：本发明涉及一种三值神经网络逐层优化方法，属于深度学习训练算法技术领域，本方法使用训练集进行逐层量化，每层量化基于前一层的量化结果进行，从第一层开始逐层量化训练深度神经网络模型的权重，每次训练仅量化所述神经网络模型中一层的权重，采用了量化器与权重同时训练的神经网络训练方法，直至最后一层量化训练完成，完成神经网络的量化，保存量化后的网络模型，量化精度更高，运算存储成本更低，大大扩大深度神经网络的应用范围。

本发明授权一种三值神经网络逐层优化方法在权利要求书中公布了：1.一种图像分类应用至移动设备时对深度神经网络模型的逐层量化方法，其特征在于，包括步骤如下： 步骤1，执行图像分类任务时，获取已训练的Alexnet深度神经网络模型作为待量化的神经网络模型；或加载神经网络模型，对所述神经网络模型采用传统神经网络训练方法进行预训练，获得预训练的深度神经网络模型； 步骤2，从第一层开始逐层量化训练深度神经网络模型的权重，每次训练仅量化所述神经网络模型中一层的权重，直至最后一层量化训练完成，完成神经网络的量化，保存量化后的网络模型，并将量化后的网络模型应用至移动设备； 假设前j层权重已量化完成，现对第j+1层权重进行量化训练，对第j+1层权重的量化训练具体步骤包括： 前向传播，计算输出和真实标签的损失函数； 反向计算损失关于第j+1层至最后一层权重的梯度并更新权重； 由截断高斯分布确定神经网络第j+1层的最优放缩因子和最优三值量化器，网络模型的第j+1层量化完成； 对第j+1层权重进行量化训练的步骤包括如下： 步骤21，获取前j层已量化完成的L层深度神经网络模型，第j层的输出为要对第j+1层进行量化； 步骤22，首先是权重更新阶段，前向传播计算最终输出与真实标签的损失以及损失关于j+1层至L层的梯度，更新第j+1层至L层的权重，从j+1层至L层都同时更新一次； 前向传播计算损失： 其中为第j层的输出；为第L层的输出，即预测标签；Ytrue为真实标签；CrossEntrop·为交叉熵损失函数； 更新第j+1层至L层的权重： 其中，Wi为第i层的权重，Wi new为第i层的更新后的权重，i＝j+1,…,L，为损失关于第i层权重的梯度，η为学习率； 步骤23，接下来进入量化器训练阶段，首先确定网络模型更新后的第j+1层权重的初始化放缩因子和初始化三值量化器即量化阈值； 步骤24，由放缩因子和三值量化器量化第j+1层权重，再次前向传播计算输出与真实标签的损失以及损失关于j+1层量化阈值的梯度，更新j+1层量化阈值，得到新的放缩因子和新的三值量化器； 放缩因子的确定方式为： 其中，μj+1为第j+1层权重矩阵所有元素的均值；σj+1为第j+1层权重矩阵所有元素的标准差；δj+1为第j+1层量化阈值，第一次进行量化器寻优时使用步骤23中的初始化量化阈值；为标准正态分布的密度函数；Φ·为标准正态分布的分布函数； 量化器的确定方式为： 其中，wj+1,i为第j+1层权重矩阵的元素；μj+1为第j+1层权重矩阵所有元素的均值；δj+1为第j+1层量化阈值，第一次进行量化器寻优时使用步骤23中的初始化量化阈值； 再次前向传播计算输出与真实标签的损失： 其中，为第j层的输出；Wnew为第j+1层至第L层的权重，Wj+1＝Sμj+1,σj+1,δj+1*Terwj+1,i,μj+1,δj+1的为上述量化操作后的量化权重，Wj+2,…,WL为步骤22中更新后的权重；为第L层的输出，即预测标签；Ytrue为真实标签；CrossEntrop·为交叉熵损失函数； 更新j+1层量化阈值： 其中，δj+1为第j+1层的量化阈值，i＝j+1,…,L，为损失关于第j+1层的量化阈值的梯度，η为学习率； 将j+1层新的量化阈值带入，得到新的放缩因子： 新的三值量化器： 其中，其中，wj+1,i为第j+1层权重矩阵的元素；μj+1为第j+1层权重矩阵所有元素的均值；σj+1为第j+1层权重矩阵所有元素的标准差；为新的第j+1层量化阈值；为标准正态分布的密度函数；Φ·为标准正态分布的分布函数； 步骤25，采用新的放缩因子和新的三值量化器量化第j+1层权重，前向传播计算损失，再次进行步骤24前向传播计算损失，若损失不再下降，则收敛；若损失下降，则重复步骤24； 前向传播计算损失： 步骤26，此时的放缩因子和三值量化器为第j+1层权重的最优放缩因子和三值量化器，网络模型的第j+1层量化完成。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网山东省电力公司聊城供电公司;国家电网有限公司，其通讯地址为：252000 山东省聊城市东昌府区利民路8号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。