买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州字节方舟科技有限公司

摘要：本发明公开了一种基于联合动态剪枝的深度神经网络压缩方法，涉及神经网络压缩技术领域，该方法的步骤包括：S1、初始网络训练；S2、特征选择和动态剪枝：S3、精细化剪枝和重训练；其技术要点为：采用动态化的梯度阈值设计，使得在初步考虑剪枝时能够有针对性的进行操作和处理，结合后续依据性能评估指标进行重训练的过程，对梯度阈值做出了二次调整，在所需的情况下减少剪枝次数，以保证模型的整体性能，剪枝后的模型经过重训练，能够适应新的权重分布和连接结构，提高了模型的适应性和泛化能力，模型能够根据执行调整策略，进一步提升了模型的实用性和可部署性。

主权项：1.一种基于联合动态剪枝的深度神经网络压缩方法，其特征在于，包括如下步骤：S1、初始网络训练：选择一个拥有具体任务的深度神经网络模型作为基准，并采用同类型公用的数据集来训练网络模型；同类型公用的数据集包括用于图像分类的数据集，且用于图像分类的数据集包括ImageNet、CIFAR-10和CIFAR-100以及MS-COCO中的任一种；S2、特征选择和动态剪枝：利用自动特征选择算法，识别网络模型中的特征和权重，而后利用每个批次的梯度信息，动态决定剪枝的位置和幅度，最终引入稀疏性惩罚机制，实现网络剪枝；利用每个批次的梯度信息，动态决定剪枝的位置和幅度，其具体的步骤如下：计算梯度：在每个训练批次之后，计算权重梯度；剪枝决策：根据梯度大小决定是否剪枝，将各个梯度大小与预设的梯度阈值进行对比，提取并选定低于梯度阈值的各个梯度；应用剪枝：将选定梯度的权重执行剪枝方式，剪枝方式包括将梯度的权重置零和移除对应的连接，在PyTorch中通过逻辑掩码来实现剪枝方式的选定；预设梯度阈值的过程如下：根据梯度分布来预设动态的梯度阈值，在每个训练批次之后，同步计算权重梯度的均值，并依据每个权重梯度、均值和既定的标准阈值，生成梯度阈值，所依据的公式如下： 式中，表示标准阈值，表示当前训练批次下，权重梯度对应的数量，表示第i个权重所对应的权重梯度，i表示编号，且i=1、2、…、n，表示n个权重下每个权重梯度的平均值，预设比例系数：，；S3、精细化剪枝和重训练：采用逐层递进的剪枝策略，在每次剪枝后依据性能数据，得到性能评估指标，依据性能评估指标进行重训练，对比前后两次重训练后得到的性能评估指标，根据对比结果执行调整策略；对比前后两次重训练后得到的性能评估指标，对比结果为：若前后两次重训练后得到的性能评估指标之间差值的绝对值未超过预设的评估阈值，则不做响应动作；若前后两次重训练后得到的性能评估指标之间差值的绝对值超过预设的评估阈值，则执行调整策略；执行的调整策略为：增加S2中的梯度阈值，梯度阈值的增加量依据如下公式得出： 式中，表示梯度阈值的增加量，表示误差修正因子，且的取值范围为0~2，表示前一次重训练后得到的性能评估指标，表示后一次重训练后得到的性能评估指标，表示评估阈值。

全文数据：

权利要求：

百度查询： 杭州字节方舟科技有限公司 一种基于联合动态剪枝的深度神经网络压缩方法