买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明属于视频编码领域，具体涉及一种基于内容划分的VVCSCC快速模式决策方法，包括：将视频帧亮度分量分割成64x64的CU；设计模式决策模型并对其进行训练；通过内容预测子网络预测该CU的类别概率，根据概率值将他们分类；若CU的类别为混合内容，继续预测内容；对于分类为自然内容的CU，直接选择Intra模式；对于分类为动画内容A和屏幕内容TGM的CU，进一步将其特征图送入模式预测子网络预测每个模式的概率；根据动画内容A和屏幕内容TGM的CU的编码概率值进行最优模式决策。本发明针对VVC复杂的划分结构进行了优化，通过使用CNN模型和基于组合的分类子网络，以实现对CU的内容分类和模式预测。

主权项：1.一种基于内容划分的VVCSCC快速模式决策方法，其特征在于，包括：S1：在VTM编码器每帧图像编码开始阶段，将视频帧亮度分量分割成64x64的CU；S2：设计模式决策模型并对其进行训练；所述模式决策模型包括卷积层、内容预测子网络以及模式预测子网络；所述模式决策模型，包括：6个非重叠的卷积层Conv1～Conv6、5个内容预测子网络C-Net1～C-Net5以及5个模式预测子网络M-Net1～M-Net5；所述6个非重叠的卷积层Conv1～Conv6卷积核大小都为2x2，步长都为2x2，卷积核个数依次为16、32、64、128、256、512，每层卷积层输出的特征向量FeatureMap的感受野依次为2x2，4x4、8x8、16x16、32x32、64x64；所述内容预测子网络C-Net1～C-Net4均包括1层Flatten层、4层ContentFC层；其中，C-Net1在Flatten层前还设置有3层非对称卷积层AsConv1～3，其卷积核大小和步长均为2x1、卷积核个数依次为64、128、256，C-Net2在Flatten层前还设置有2层非对称卷积层AsConv1～3，其卷积核大小和步长均为2x1、卷积核个数依次为128、256，C-Net3在Flatten层前还设置有1层非对称卷积层AsConv1～3，其卷积核大小和步长均为2x1、卷积核个数为256；所述非对称卷积层AsConv的卷积核大小和步长均为2x1；所述内容预测子网络C-Net5包括Flatten层、3层ContentFC层；所述Flatten层用于将卷积层的输出拉平；所述ContentFC层使用拉平后的特征作为输入，预测出内容的概率，所述内容预测子网络C-Net1～C-Net4的ContentFC层节点个数依次为128、64、32、4个，所述内容预测子网络C-Net5的ContentFC层节点个数依次为128、32、4个；所述5个模式预测子网络M-Net1～M-Net5包括屏幕内容TGM的模式预测网络和动画内容A的模式预测网络；所述屏幕内容TGM的模式预测网络和动画内容A的模式预测网络由多层卷积层、1层Flatten层以及3层全连接层组成，用于预测编码模式Intra、PLT、IBC的概率；所述动画内容A的模式预测网络在全连接层分为第一、第二子网络；所述第一子网络采用ModeFCI全连接件层，用于预测Intra模式的概率；所述第二子网络采用ModeFCS全连接件层，用于预测IBC或者PLT模式的概率；S3：将64x64的CU输入卷积层生成特征图，并通过内容预测子网络预测该CU的类别概率，根据概率值将他们分类为屏幕内容TGM、自然内容CC、动画内容A、混合内容Mixed；S4：若CU的类别为混合内容Mixed，将对应大小的特征图重新送入对应大小的内容预测子网络继续预测内容，直到不为Mixed预测终止；S5：对于分类为自然内容CC的CU，直接选择Intra模式，跳过IBC和PLT模式；S6：对于分类为动画内容A和屏幕内容TGM的CU，进一步将其特征图送入模式预测子网络预测每个模式的概率，由于动画内容A和自然内容CC最佳模式分布不一样，屏幕内容TGM预测器直接预测Intra、IBC以及PLT模式的概率，动画内容A则在全连接层分为两个子网络，分辨是否为Intra模式，如果不是Intra模式再进入第二个子网络预测是IBC或者PLT概率；S7：根据动画内容A和屏幕内容TGM的CU的编码概率值进行最优模式决策。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于内容划分的VVC SCC快速模式决策方法