买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东贤蕴信息科技有限公司

摘要：本发明公开了基于双向编码结构的视频帧插值方法及系统；对第一尺度的输入帧图像进行预处理，得到第二和第三尺度的输入帧图像；将第一尺度的输入帧图像，输入到训练后的插值帧生成模型得到插值帧；模型对第一尺度的输入帧图像进行处理，得到第一尺度原始特征；对第一尺度原始特征进行预处理，得到第二、三尺度的原始特征；将第一、二和三尺度的原始特征，各自输入到对应的子网络，分别得到第一、二和三尺度原始特征上每个目标像素的像素级参数；基于每个尺度原始特征上每个目标像素的像素级参数和AdaCoF，对相应尺度的输入图像进行扭曲操作，得到相应尺度的扭曲帧图像；对多个尺度的扭曲帧图像进行合成操作得到插值帧。

主权项：1.基于双向编码结构的视频帧插值方法，其特征是，包括：获取待插值视频的两个第一尺度的连续帧图像和图像；对图像和图像同时进行上采样操作，得到第二尺度的图像和图像；对图像和图像同时进行下采样操作，得到第三尺度的图像和图像；将两个连续帧图像和图像，输入到训练后的插值帧生成模型；同时，将颠倒顺序后的两个连续帧图像和图像，也输入到训练后的插值帧生成模型；模型输出插值帧；其中，训练后的插值帧生成模型，用于对图像和图像以及图像和图像，进行特征提取、特征增强和特征融合处理，得到第一尺度的原始特征；对第一尺度的原始特征进行上采样处理，得到第二尺度的原始特征；对第一尺度的原始特征进行下采样处理，得到第三尺度的原始特征；将第一、第二和第三尺度的原始特征，各自输入到对应的子网络，分别得到第一、第二和第三尺度原始特征上每个目标像素的像素级参数；基于每个尺度原始特征上每个目标像素的像素级参数和自适应协同流AdaCoF，对相应尺度的输入图像进行扭曲操作，得到相应尺度的扭曲帧图像；对多个尺度的扭曲帧图像进行合成操作得到插值帧；所述训练后的插值帧生成模型，包括：依次连接的特征提取模块、多尺度帧扭曲网络和多尺度帧合成网络；所述特征提取模块，用于对图像和图像以及图像和图像，进行特征提取、特征增强和特征融合处理，得到第一尺度的原始特征，具体包括：反向编码U-Net分支和正向编码U-Net分支；所述反向编码U-Net分支，包括：依次连接的反向编码器和反向解码器；所述反向编码器，包括：依次连接的第一深度过参数化循环残差卷积单元、第一平均池化层、第二深度过参数化循环残差卷积单元、第二平均池化层、第三深度过参数化循环残差卷积单元、第三平均池化层、第一深度可分离残差卷积单元、第四平均池化层、第二深度可分离残差卷积单元和第五平均池化层；所述反向解码器，还包括：依次连接的第三深度可分离残差卷积单元、第一上采样层、第一加法器、第四深度可分离残差卷积单元、第二上采样层、第二加法器、第四深度过参数化循环残差卷积单元、第三上采样层、第三加法器、第五深度过参数化循环残差卷积单元、第四上采样层和第四加法器；所述第二深度过参数化循环残差卷积单元的输出端与第一注意力机制模块的输入端连接，第一注意力机制模块的输出端与第四加法器的输入端连接；所述第三深度过参数化循环残差卷积单元的输出端与第二注意力机制模块的输入端连接，第二注意力机制模块的输出端与第三加法器的输入端连接；第一深度可分离残差卷积单元的输出端与第三注意力机制模块的输入端连接，第三注意力机制模块的输出端与第二加法器的输入端连接；第二深度可分离残差卷积单元的输出端与第四注意力机制模块的输入端连接，第四注意力机制模块的输出端与第一加法器的输入端连接；所述正向编码U-Net分支，包括：依次连接的正向编码器和正向解码器；所述正向编码器，包括：依次连接的第六深度过参数化循环残差卷积单元、第六平均池化层、第七深度过参数化循环残差卷积单元、第七平均池化层、第八深度过参数化循环残差卷积单元、第八平均池化层、第五深度可分离残差卷积单元、第九平均池化层、第六深度可分离残差卷积单元和第十平均池化层；所述正向解码器，还包括：依次连接的第七深度可分离残差卷积单元、第五上采样层、第五加法器、第八深度可分离残差卷积单元、第六上采样层、第六加法器、第九深度过参数化循环残差卷积单元、第七上采样层、第七加法器、第十深度过参数化循环残差卷积单元、第八上采样层和第八加法器；所述第七深度过参数化循环残差卷积单元的输出端与第五注意力机制模块的输入端连接，第五注意力机制模块的输出端与第八加法器的输入端连接；所述第八深度过参数化循环残差卷积单元的输出端与第六注意力机制模块的输入端连接，第六注意力机制模块的输出端与第七加法器的输入端连接；第五深度可分离残差卷积单元的输出端与第七注意力机制模块的输入端连接，第七注意力机制模块的输出端与第六加法器的输入端连接；第六深度可分离残差卷积单元的输出端与第八注意力机制模块的输入端连接，第八注意力机制模块的输出端与第五加法器的输入端连接；不同尺度的反向解码特征与对应尺度的正向解码特征进行融合；不同尺度的正向解码特征与对应尺度的反向解码特征进行融合；第三深度可分离残差卷积单元的输出端与第五加法器的输入端连接；第七深度可分离残差卷积单元的输出端与第一加法器的输入端连接；第四深度可分离残差卷积单元的输出端与第六加法器的输入端连接；第八深度可分离残差卷积单元的输出端与第二加法器的输入端连接；第四深度过参数化循环残差卷积单元的输出端与第七加法器的输入端连接；第九深度过参数化循环残差卷积单元的输出端与第三加法器的输入端连接；第五深度过参数化循环残差卷积单元的输出端与第八加法器的输入端连接；第十深度过参数化循环残差卷积单元的输出端与第四加法器的输入端连接；所述多尺度帧扭曲网络，用于对第一尺度的原始特征进行上采样处理，得到第二尺度的原始特征；对第一尺度的原始特征进行下采样处理，得到第三尺度的原始特征；将第一、第二和第三尺度的原始特征，各自输入到对应的子网络，分别得到第一、第二和第三尺度原始特征上每个目标像素的像素级参数；基于第一尺度原始特征上每个目标像素的像素级参数和自适应协同流AdaCoF，对第一尺度的图像和图像进行扭曲操作得到第一尺度的扭曲帧图像和图像；基于第二尺度原始特征上每个目标像素的像素级参数和自适应协同流AdaCoF，对第二尺度的图像和图像进行扭曲操作得到第二尺度的扭曲帧图像和图像；基于第三尺度原始特征上每个目标像素的像素级参数和自适应协同流AdaCoF，对第三尺度的图像和图像进行扭曲操作得到第三尺度的扭曲帧图像和图像；所述多尺度帧合成网络，用于对扭曲帧图像、图像、图像、图像、图像和图像，进行合成操作得到插值帧；所述多尺度帧合成网络，包括GridNet；GridNet包括：三个并列分支：第九分支、第十分支和第十一分支；所述第九分支，包括：依次连接的第一残差块、第二残差块、第三残差块、第四残差块、第五残差块和第六残差块；所述第一残差块，包括：依次连接的第一PReLU激活函数层、第六卷积层、第七卷积层、第三平均池化层、第八卷积层、第二PReLU激活函数层、第九卷积层、第三乘法器、第十四加法器；第一PReLU激活函数层的输入端还与第十四加法器的输入端连接，第三平均池化层的输入端还与第三乘法器的输入端连接；进一步地，将三个尺度的扭曲帧分别作为GridNet不同行的输入，以此生成中间帧；从上到下，每行的输入和特征图具有逐渐减小的分辨率；引入通道注意机制；在所述上采样处理过程中，采用双线性上采样。

全文数据：

权利要求：

百度查询： 山东贤蕴信息科技有限公司 基于双向编码结构的视频帧插值方法及系统