买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：一种基于残差学习及空间变换网络的光场超分辨率重建方法属于计算机视觉领域。本发明根据光场图像空间分辨率低的问题对图像进行超分辨率重建，首先设计了4+1的融合模型来学习光场图像的特征，此外，为了更好的提取特征，本发明将空间变换网络的定位器进行了改进。在具体操作中，将图像按照相对位置分别输入到改进的空间变换网络中，通过递归结构的卷积神经网络进行特征重建与融合，期间充分利用了相邻视图的特征信息，弥补了其他方法对相邻视点信息利用的不足，配合先进的网络结构设计，使得模型具有更好的重建效果。

主权项：1.一种基于残差学习及空间变换网络的光场超分辨率重建方法，其特征在于：基于残差学习及空间变换网络由全局残差连接的空间变换网络模块，上采样Res-block模块与递归结构卷积神经网络组成；其中带有全局残差连接的空间变换网络模块由17层卷积层、2层linear层、网格生成器、采样器组成，上采样方式采用Bicubic插值法，Res-block模块是由卷积层数为2的卷积神经网络通过残差连接的方式组成递归结构卷积神经网络由9组卷积层数为2的递归卷积模块和输入层卷积神经网络与输出层卷积神经网络组成；将公开数据集中的光场图像按角度坐标u、v进行提取的方法提取14*14规格的子视点图像，每张子视点图像尺寸为544*376，选取其中6*6的子视点图像进行实验，对6*6的子视点图像进行下采样处理；得到低分辨率图像作为输入，低分辨率具体数值等于原图像分辨率除以下采样倍数，用梅花采样的排序将图像按照上、下、中间、左、右的方式标记，若遇边界情况，不能构成梅花采样的排序，则缺失的位置图按其他位置图像的像素之和然后取均值代替，随后把所有图像颜色通道均转换为YCbCr通道，由于人眼对亮度信息最为敏感，单取Y通道作为输入的特征信息，在得到输入图像的特征图后，将图像按照上述梅花采样方法分为上、下、左、右四路分别放入各条分支的空间变换网络中，对定位器的特征提取部分进行了改进，在此使用全局残差连接的17层卷积神经网络进行特征提取，其中第一层卷积神经网络的输入通道与最后一层卷积神经网络的输出通道是1，其他卷积层的输入输出通道均取64，卷积核尺寸为3*3，步长为1；激活函数采用Relu；此时将通道为1的Y通道图像输入，通过3*3卷积核计算得到64通道的中间特征图，中间卷积层数为15层，中间通道均为64，最后到定位器最后一层卷积层输出通道数为1的特征图，与原始特征图进行相加，并经过两层linear层进行回归得到2*3维度的仿射变换矩阵，然后网格生成器依据预测的变换参数来构建一个采样网格，它是一组输入图像中的点经过采样变换后得到的输出；然后通过图像采样器，将输入特征图和采样网格作为输入，生成采样输出特征图；使用双线性采样器对采样网格中的像素和邻域像素进行插值，得到目标图像的近似图像；对于梅花采样中的中间位置图像的处理，采用Bicubic插值法对图像进行上采样，将上采样的结果通过3个相同结构的卷积层数为2的Res-block模块进行卷积计算，每个模块通过局部残差连接，模块的输入通道为1，输出通道为1，中间通道均为64；然后与四张图像经过空间变换网络之后的结果进行通道的合并，得到通道数为5的特征图，然后输入到递归结构的卷积神经网络中进行图像细节的恢复，首先经过输入层卷积神经网络，输入通道为5，输出通道为64，卷积核尺寸为3，步长为1，然后经过9组递归卷积模块，每组为2层卷积神经网络组成，输入输出通道均为64，步长为1，卷积核尺寸为3，得到的结果作为残差与之前经过第一层卷积层计算后的结果相加，相加得到的结果作为输入送进输出层卷积神经网络，输入通道为64，输出通道为1，步长为1，卷积核尺寸为3，通过递归结构连接组成，最终得到1通道的高分辨率目标图像，高分辨率具体数值等于输入图像分辨率乘超分辨率倍数。

全文数据：

权利要求：

百度查询： 北京工业大学 基于残差学习及空间变换网络的光场超分辨率重建方法