买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工商大学

摘要：本发明公开了一种基于注意力机制和迁移学习的视频图像压缩方法，属于视频图像编解码领域。本发明提供的方法在基础模型的残差数据编码器之后增加了一个通道注意力模块和一个空间注意力模块，用于实现码率控制。第一阶段的学习针对基础模型，获得若干组对应不同失真码率平衡因子值的网络参数集；在第二阶段，以迁移学习的方式，对基础模型的每一组参数集学习若干组仅包含通道注意力、空间注意力和残差数据解码器的各个网络层次的轻量级参数集。采用本发明提供的基于注意力机制和迁移学习的视频压缩方法能以较小的存储代价保存较多对应不同失真码率平衡因子值的模型参数集，从而为精细化的码率控制提供可能性。

主权项：1.一种基于注意力机制和迁移学习的视频图像压缩方法，其特征在于，该方法包括：S1、采用DVC视频编码系统作为基础模型，该基础模型包括以深度神经网络实现的运动估计、运动向量编码和解码、运动补偿、残差数据编码和解码模块，以监督学习的方式对所述基础模型进行第一阶段的学习，确定所述基础模型中各个模块的网络参数；且在第一阶段学习过程中，设t代表当前帧，为t之前的相邻帧经压缩编码后解码还原的图像，对每一个训练样本将和t输入到所述基础模型中，经编码和解码后输出当前帧t对应的解码图像再按如下的损失函数公式计算损失 其中，代表t和之间的误差，R为与码率相关的代价；λ为用于平衡失真和码率的权重参数；批量加载训练样本集中的所有训练样本，以最小化所有训练样本的损失函数之和为目标，以反向传播的方式更新调整基础模型的各个网络层次的参数，直至第一阶段的学习过程收敛，得到一组对应基础模型的第一网络参数集；S2、在基础模型的残差数据编码器之后增加用于实现码率控制的一个通道注意力模块和一个空间注意力模块，从而得到优化模型；以迁移学习的方式对所述优化模型进行第二阶段的学习，且设为第一阶段学习过程中设置权重参数＝λ1学习所得的第一网络参数集，第二阶段学习将基础模型中的运动估计模块、运动向量编码和解码模块、运动补偿模块、残差数据编码器的各个网络层次的参数迁移至所述优化模型中，且将这些模块的网络参数固化为中的值，仅学习通道注意力模块、空间注意力模块和残差数据解码器中各个网络层次的参数；且在第二阶段的学习过程中，训练样本输入到优化模型后，先由与基础模型相同的运动估计模块、运动向量编码和解码模块、运动补偿模块和残差数据编码器处理后输出对应输入样本的特征图t，特征图t经通道注意力模块处理形成修正特征图修正特征图进一步经空间注意力模块处理形成修正特征图最后对修正特征图进行取整运算和熵编码形成最终的编码码流；然后在解码端，对编码码流进行熵解码后输入到残差数据解码器，由残差数据解码器输出对应t的解码图像再按S1中所述的损失函数公式对指定的权重参数λ取值λ2计算损失批量加载训练样本集中的所有训练样本，以最小化所有训练样本的损失函数之和为目标，以反向传播的方式更新调整所述优化模型中通道注意力模块、空间注意力模块和残差数据解码器的各个网络层次的参数，直至第二阶段的学习过程收敛，得到一组第二网络参数集；S3、在第一阶段和第二阶段的学习中设定不同的权重参数λ的取值组合，最终得到若干组第二网络参数集，每一组第二网络参数集对应两个学习阶段中一组权重参数λ的取值组合λ1和λ2；对于任意给定的码率限制，从所有第二网络参数集中选择一组在该码率限制下具有最小平均失真的第二网络参数集，用于供所述优化模型进行编解码操作。

全文数据：

权利要求：

百度查询： 浙江工商大学 基于注意力机制和迁移学习的视频图像压缩方法