买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：本发明公开了一种基于局部特征与全局特征提取网络的3D‑HEVC深度图编码单元划分方法，属于3D‑HEVC视频编码领域。其特征在于：首先构建了包含多种分辨率、不同纹理特点的标准视频序列数据集用于训练；其次设计并构建了双特征流网络，通过残差模块和特征蒸馏模块构成的网络分支提取全局图像特征，与此同时通过动态模块和CBAM注意力机制模块构成的网络分支提取局部图像特征；随后融合双特征流并输出，得到对深度图CU划分结构的预测；最后将双特征流网络嵌入3D‑HEVC编码框架中，参考CU划分预测结果有效优化深度图帧内CU划分过程，实现快速编码。

主权项：1.一种基于局部特征与全局特征提取网络的3D-HEVC深度图编码单元划分方法，其特征在于，包括以下步骤：第一：训练和测试的编码视频数据集；步骤1.1、从数据库中选择6个不同视频内容、不同镜头特点标准测试序列的深度图用于训练和测试，包括1024*768和1920*1088两种分辨率；步骤1.2、在3D-HEVC参考软件HTM16.0压缩上述所有测试序列，编码在4个不同的量化参数QPs下分别进行，QP值分别等于34，39，42，45；步骤1.3、将包含深度信息的、大小为64*64的编码单元CU与四种QP下的编码划分标签组成一个训练测试样本，以上样本均已打乱其视频帧排列；第二：全局图像特征提取网络分支；步骤2.1、包含残差模块的两个网络分支负责提取全局图像特征，学习的特征用于深度图划分中低深度层级划分结构参考；第一分支直接输送64*64的样本进入预处理操作部分，去除均值，归一化输入像素；而第二分支则首先经卷积核为2*2的卷积操作，依靠与卷积核尺寸相同的卷积运算跨步步长，通过非重叠卷积的方式减少特征图一半的空间尺寸，提取全局图像特征中的底层特征，随后对32*32特征图进行预处理；步骤2.2、经预处理的64*64特征分支随后进入残差模块，残差模块的设计包含一个卷积核为3*3的重叠卷积层和三个连续的残差单元，而残差单元则由两个卷积核为3*3的重叠卷积层构成，其后采用LeakyReLU激活函数；在最后一个卷积层的输出处与原始输入进行跳跃连接并逐元素相加；该分支随后经一个卷积核为3*3的重叠卷积层，得到分支输出的特征向量；步骤2.3、第二分支的32*32样本经预处理后进入和上述步骤2.2中相同的残差模块，并在残差模块后增添了特征蒸馏模块来进一步增强其全局图像特征提取能力；特征蒸馏模块由3个类似残差单元的网络结构构成，其输出和原始输入均经卷积核为1*1的卷积层和LeakyReLU激活函数后相互拼接，使得输出特征图的通道数变为输入的4倍，丰富提取到的全局图像特征，再经卷积核为1*1的卷积层和LeakyReLU激活函数得到第二分支的最终输出；第一、二分支的输出共同构成双特征流网络的全局图像特征流；第三：局部图像特征提取网络分支；步骤3.1、该分支的输入首先通过动态模块，得到尺寸为16*16的局部特征图，随后通过CBAM注意力机制模块，提取相对原始输入而言的局部样本上的全部特征，从而构成双特征流网络中的局部图像特征流；步骤3.2、当纹理QP，深度QP取值为30,39、35,42以及40,45时，此时动态模块采用的结构使得输入首先经一个卷积核为4*4的非重叠卷积层，得到空间尺寸为原本14的特征图，随后经去均值等归一化操作得到动态模块的输出；若采用的QP值为25,34，动态模块采用的结构使得输入首先经Canny边缘检测算法找到尺寸为16*16的特征图，随后经去均值等归一化操作得到动态模块的输出；步骤3.3、CBAM注意力机制模块由三个Conv-CBAM子块构成，每一个Conv-CBAM子块由一个卷积核为3*3的重叠卷积层和CBAM模块组成；CBAM包括利用输入特征通道间关系生成通道注意力图的通道注意力模块CAM和利用输入特征空间关系生成空间注意力图的空间注意力模块SAM，其输入首先经CAM，随后将输出与原始输入逐元素相乘送入SAM，SAM的输出再与SAM的输入进行逐元素相乘得到最终的输出；双特征流网络连续使用三个Conv-CBAM子块的设计，最终得到局部图像特征流的输出；第四：特征流整合输出；步骤4.1、将双特征流网络第一、二分支提取的全局图像特征流和第三分支提取的局部图像特征流送入合并层进行整合；合并后的特征向量经过两层以ReLU为激活函数的全连接层和一层以Sigmoid为激活函数的输出层得到编码单元最终划分结果，该结果将被用作实际3D视频编码过程中的参考。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于局部特征与全局特征提取网络的3D-HEVC深度图编码单元划分方法