买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安理工大学

摘要：本发明公开了一种双向残差融合的视频超分辨率重建的方法，按照以下步骤具体实施：步骤1、采集超分辨率重建网络的训练样本，步骤2、重建网络结构的设置，步骤3、重建网络的训练，步骤4、进行双向残差融合。本发明的方法，解决了现有基于循环神经网络的视频超分辨率重建技术中，存在的前后序视频帧细节信息提取不充分问题，本发明方法显式地融合前、后序视频帧预测的细节信息，在不增加模型复杂度的条件下，采用本发明方法重建出来的视频帧序列的细节保持效果有明显的提高，在多个测试数据集上的测试结果，均优于目前公开发表的论文效果。

主权项：1.一种双向残差融合的视频超分辨率重建的方法，其特征在于，按照以下步骤具体实施：步骤1、采集超分辨率重建网络的训练样本；步骤2、重建网络结构的设置，具体过程是：本步骤所采用的网络结构为循环神经网络，以下简称网络，循环神经网络中的每个Network模块则是采用了残差结构；在视频序列中的t时刻，网络输入包含三部分，即①前一时刻的重建高分辨率帧，②前一时刻的隐藏状态，③相邻两帧低分辨率帧；由于视频序列第一帧无前一时刻，所以在起始时刻的前，特别补充了一帧，因此输入低分辨率视频序列变为，其中，是序列的帧数，在网络训练时，；在第一帧训练时对和进行零初始化；步骤3、重建网络的训练，具体过程是：3.1）对齐循环神经网络的输入特征维度， 时刻的重建高分辨率帧维度为，其中数字3是颜色通道数，是低分辨率视频帧放大倍数，patch为降质低分辨率视频数据尺寸，时刻的隐藏状态ht-1维度为，其中是特征图的通道数，时刻和t时刻的低分辨率帧在通道上拼接后的维度为，的维度均为；为了将三部分输入在通道上进行拼接，需要对进行space-to-depth操作，表达式见式（2）： （2）则的维度是；之后，与低分辨率帧进行合并及对齐，表达式见式（3）： （3）拼接后的Ft维度为[3r2+channel+6,patch,patch]；3.2）训练循环神经网络中的Network模块，Network模块采用残差结构，包含聚合时序特征、更新隐藏状态和重建高分辨率帧，分别说明如下：3.2.1）聚合时序特征，具体过程是：a.对Ft进行降维，使用channel个3×3×3r2+channel+6大小的卷积核进行步长为1、填充为1的卷积，并使用ReLU激活函数，得到维度为[channel,patch,patch]的特征图Ft0，表达式见式（4）、式（5）： （4） （5）其中，表示ReLU激活函数，表示大小为3×3×3r2+channel+6的卷积；b.使用N个ResBlock对特征图Ft0进行纹理细节信息提取，表达式见式（6）： （6）其中，为卷积核大小为channel×3×3，步长为1、填充为1的卷积；3.2.2）更新隐藏状态，具体过程是：使用channel个[channel,3,3]大小的卷积核对聚合特征FtN进行步长为1、填充为1的卷积，并使用ReLU激活函数，得到更新后的维度为[channel,patch,patch]的隐藏状态ht，表达式见式（7）： （7）其中，表示ReLU激活函数，表示大小为channel×3×3的卷积；3.2.3）重建高分辨率帧，具体过程是：a.对低分辨率帧int进行双三次插值，得到维度均为[3,]高分辨率重建帧的低频概貌，记作，表达式见式（8）： （8）b.使用3r2个大小为channel×3×3的卷积核对聚合特征FtN进行步长为1、填充为1的卷积，再经过depth-to-space操作得到的包含高频纹理细节信息的维度均为[3,]残差图outtH，表达式见式（9）： （9）其中，表示大小为channel×3×3的卷积；c.将计算得到的outtL和outtH相加，得到高质量的高分辨率重建帧outt，表达式见式（10）： out t =out t L +out t H（10）3.3）计算训练网络的损失函数，在同一视频序列训练时，t时刻的网络输入通过残差学习网络得到第t帧的重建帧及更新后的隐藏状态ht用于帧的重建，循环这个过程直至最后一帧，且各时刻的网络参数共享，通过计算整个视频序列的重建帧与对应高分辨率标签数据HRt的像素级L1损失进行梯度反向传播，从而更新网络参数，L1损失函数的表达式见式（11）： （11）3.4）利用步骤1得到的所有训练样本，重复步骤2至步骤3.3）进行迭代训练，直至达到预置的训练次数；步骤4、进行双向残差融合，具体过程是：设待处理的低分辨率视频是一个具有帧的视频帧序列，记为，将其称为正序列；之后，将视频帧倒序排列，记为即将其称为逆序列；将正序列和逆序列结合之后，构成低分辨率输入视频帧序列为输入循环神经网络中，由公式（8）得到，；由公式（9）得到，和，；再按照式（12）完成双向残差融合的计算： ，（12）至此，得到r倍的超分辨率重建视频帧序列。

全文数据：

权利要求：

百度查询： 西安理工大学 一种双向残差融合的视频超分辨率重建的方法