买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：宁波大学

摘要：本发明公开了一种基于混合输入的多尺度光场图像空间超分辨率方法，其包含2×尺度分支、4×尺度分支和8×尺度分支，这三个分支将一个具有极具挑战的任务分解为多个较为简单的任务依次完成，并且每个分支都由空角特征对齐模块、空角特征融合模块以及空角特征聚合模块构成，其中空角特征对齐模块构建了低分辨率光场图像和2D高分辨率图像之间的对应关系，空角特征融合模块是为了探索对齐后特征和低分辨率光场特征内固有的空间信息和角度信息之间的依赖性和互补性，空角特征聚合模块聚合空间信息和角度信息以实现光场重建；该方法的优点是能够进行大尺度光场超分辨率重建，特别是在宽基线场景中能够重建出更加精细的纹理细节。

主权项：1.一种基于混合输入的多尺度光场图像空间超分辨率方法，其特征在于包括以下步骤：步骤1：选择同一个场景的一幅角度分辨率为U×V且空间分辨率为H×W的低空间分辨率光场图像以及一幅空间分辨率为λH×λW的2D高分辨率图像；其中，λ表示空间分辨率扩大的倍数，λ取值为8；步骤2：构建一个多尺度光场图像空间超分辨率重建网络，其包括2×尺度分支、4×尺度分支和8×尺度分支，2×尺度分支主要由第一空角特征对齐模块、LR编码器、第一空角特征融合模块、第一空角特征聚合模块、第一上采样模块组成，4×尺度分支主要由第二空角特征对齐模块、第二空角特征融合模块、第三空角特征融合模块、第二空角特征聚合模块、第二上采样模块组成，8×尺度分支主要由第三空角特征对齐模块、第四空角特征融合模块、第五空角特征融合模块、第六空角特征融合模块、第三空角特征聚合模块组成，每个空角特征融合模块分为空间特征分支和角度特征分支；在第一空角特征对齐模块之前，对输入的一幅角度分辨率为U×V且空间分辨率为H×W的低空间分辨率光场图像进行预处理操作后得到一幅角度分辨率为U×V且空间分辨率为2H×2W的光场图像对输入的一幅空间分辨率为λH×λW的2D高分辨率图像进行预处理操作后得到U×V幅空间分辨率为的清晰2D图像和U×V幅空间分辨率为的模糊2D图像，将U×V幅空间分辨率为的模糊2D图像、U×V幅空间分辨率为的清晰2D图像分别输入到第一空角特征对齐模块中，第一空角特征对齐模块输出通道数为32及角度分辨率为U×V且空间分辨率为2H×2W的特征图Fre_align,2，将输入到LR编码器中，LR编码器输出通道数为32及角度分辨率为U×V且空间分辨率为2H×2W的特征图FLR_encoder,2，对Fre_align,2和FLR_encoder,2进行通道上的拼接操作后得到通道数为64及角度分辨率为U×V且空间分辨率为2H×2W的特征图FreLR,2，FreLR,2经过一个1×1卷积层后得到通道数为32及角度分辨率为U×V且空间分辨率为2H×2W的特征图FreLR_cov,2，将FreLR_cov,2作为空间特征图输入到第一空角特征融合模块的空间特征分支中，第一空角特征融合模块的空间特征分支输出通道数为32及角度分辨率为U×V且空间分辨率为2H×2W的空间特征图Fcg_spa,2，并将FreLR_cov,2转换成通道数为32及角度分辨率为2H×2W且空间分辨率为U×V的特征图作为角度特征图输入到第一空角特征融合模块的角度特征分支中，第一空角特征融合模块的角度特征分支输出通道数为32及角度分辨率为2H×2W且空间分辨率为U×V的角度特征图Fcg_ang,2，将Fcg_spa,2和Fcg_ang,2输入到第一空角特征聚合模块中，第一空角特征聚合模块输出通道数为32及角度分辨率为U×V且空间分辨率为2H×2W的空角特征图Fagg,2，将Fagg,2输入到第一上采样模块中，第一上采样模块输出通道数为32及角度分辨率为U×V且空间分辨率为4H×4W的特征图Fup,4，Fagg,2经过一个3×3卷积层后得到通道数为1及角度分辨率为U×V且空间分辨率为2H×2W的特征图Fagg_cov,2，对和Fagg_cov,2进行逐元素相加操作后得到通道数为1及角度分辨率为U×V且空间分辨率为2H×2W的2×重建图LSR,2；在第二空角特征对齐模块之前，对2×重建图LSR,2进行预处理操作后得到一幅角度分辨率为U×V且空间分辨率为4H×4W的光场图像对输入的一幅空间分辨率为λH×λW的2D高分辨率图像进行预处理操作后得到U×V幅空间分辨率为的清晰2D图像和U×V幅空间分辨率为的模糊2D图像，将U×V幅模糊2D图像、U×V幅清晰2D图像分别输入到第二空角特征对齐模块中，第二空角特征对齐模块输出通道数为32及角度分辨率为U×V且空间分辨率为4H×4W的特征图Fre_align,4，对Fup,4和Fre_align,4进行通道上的拼接操作后得到通道数为64及角度分辨率为U×V且空间分辨率为4H×4W的特征图FreLR,4，FreLR,4经过一个1×1卷积层后得到通道数为32及角度分辨率为U×V且空间分辨率为4H×4W的特征图FreLR_cov,4，将FreLR_cov,4作为空间特征图输入到第二空角特征融合模块的空间特征分支中，第二空角特征融合模块的空间特征分支输出通道数为32及角度分辨率为U×V且空间分辨率为4H×4W的空间特征图Fc'g_spa,4，并将FreLR_cov,4转换成通道数为32及角度分辨率为4H×4W且空间分辨率为U×V的特征图作为角度特征图输入到第二空角特征融合模块的角度特征分支中，第二空角特征融合模块的角度特征分支输出通道数为32及角度分辨率为4H×4W且空间分辨率为U×V的角度特征图Fc'g_ang,4，将Fc'g_spa,4输入到第三空角特征融合模块的空间特征分支中，第三空角特征融合模块的空间特征分支输出通道数为32及角度分辨率为U×V且空间分辨率为4H×4W的空间特征图Fcg_spa,4，并将Fc'g_ang,4输入到第三空角特征融合模块的角度特征分支中，第三空角特征融合模块的角度特征分支输出通道数为32及角度分辨率为4H×4W且空间分辨率为U×V的角度特征图Fcg_ang,4，将Fcg_spa,4和Fcg_ang,4输入到第二空角特征聚合模块中，第二空角特征聚合模块输出通道数为32及角度分辨率为U×V且空间分辨率为4H×4W的空角特征图Fagg,4，将Fagg,4输入到第二上采样模块中，第二上采样模块输出通道数为32及角度分辨率为U×V且空间分辨率为8H×8W的特征图Fup,8，Fagg,4经过一个3×3卷积层后得到通道数为1及角度分辨率为U×V且空间分辨率为4H×4W的特征图Fagg_cov,4，对和Fagg_cov,4进行逐元素相加操作后得到通道数为1及角度分辨率为U×V且空间分辨率为4H×4W的4×重建图LSR,4；在第三空角特征对齐模块之前，对4×重建图LSR,4进行预处理操作后得到一幅角度分辨率为U×V且空间分辨率为8H×8W的光场图像对输入的一幅空间分辨率为λH×λW的2D高分辨率图像进行预处理操作后得到U×V幅空间分辨率为λH×λW的清晰2D图像和U×V幅空间分辨率为λH×λW的模糊2D图像，将U×V幅模糊2D图像、U×V幅清晰2D图像分别输入到第三空角特征对齐模块中，第三空角特征对齐模块输出通道数为32及角度分辨率为U×V且空间分辨率为8H×8W的特征图Fre_align,8，对Fup,8和Fre_align,8进行通道上的拼接操作后得到通道数为64及角度分辨率为U×V且空间分辨率为8H×8W的特征图FreLR,8，FreLR,8经过一个1×1卷积层后得到通道数为32及角度分辨率为U×V且空间分辨率为8H×8W的特征图FreLR_cov,8，将FreLR_cov,8作为空间特征图输入到第四空角特征融合模块的空间特征分支中，第四空角特征融合模块的空间特征分支输出通道数为32及角度分辨率为U×V且空间分辨率为8H×8W的空间特征图Fc'g_spa,8，并将FreLR_cov,8转换成通道数为32及角度分辨率为8H×8W且空间分辨率为U×V的特征图作为角度特征图输入到第四空角特征融合模块的角度特征分支中，第四空角特征融合模块的角度特征分支输出通道数为32及角度分辨率为8H×8W且空间分辨率为U×V的角度特征图Fc'g_ang,8，将Fc'g_spa,8输入到第五空角特征融合模块的空间特征分支中，第五空角特征融合模块的空间特征分支输出通道数为32及角度分辨率为U×V且空间分辨率为8H×8W的空间特征图Fc”g_spa,8，并将Fc'g_ang,8输入到第五空角特征融合模块的角度特征分支中，第五空角特征融合模块的角度特征分支输出通道数为32及角度分辨率为8H×8W且空间分辨率为U×V的角度特征图Fc”g_ang,8，将Fc”g_spa,8输入到第六空角特征融合模块的空间特征分支中，第六空角特征融合模块的空间特征分支输出通道数为32及角度分辨率为U×V且空间分辨率为8H×8W的空间特征图Fcg_spa,8，并将Fc”g_ang,8输入到第六空角特征融合模块的角度特征分支中，第六空角特征融合模块的角度特征分支输出通道数为32及角度分辨率为8H×8W且空间分辨率为U×V的角度特征图Fcg_ang,8，将Fcg_spa,8和Fcg_ang,8输入到第三空角特征聚合模块中，第三空角特征聚合模块输出通道数为32及角度分辨率为U×V且空间分辨率为8H×8W的空角特征图Fagg,8，Fagg,8经过一个3×3卷积层后得到通道数为1及角度分辨率为U×V且空间分辨率为8H×8W的特征图Fagg_cov,8，对和Fagg_cov,8进行逐元素相加操作后得到通道数为1及角度分辨率为U×V且空间分辨率为8H×8W的8×重建图LSR,8；步骤3：训练阶段，构建训练集，训练集中包含有Num组图像，每组图像包括同一个场景的一幅角度分辨率为U×V且空间分辨率为H×W的低空间分辨率光场图像、一幅空间分辨率为λH×λW的2D高分辨率图像，以及一幅角度分辨率为U×V且空间分辨率为λH×λW的高空间分辨率光场图像；然后使用训练集对多尺度光场图像空间超分辨率重建网络进行训练，在每轮训练结束后计算2×重建图与高空间分辨率光场图像经4倍下采样后得到的图像的L1损失和梯度损失，计算4×重建图与高空间分辨率光场图像经2倍下采样后得到的图像的L1损失和梯度损失，计算8×重建图与高空间分辨率光场图像的L1损失和梯度损失，计算第一空角特征对齐模块输出的特征图经过一层3×3卷积后得到的空角特征对齐图像与高空间分辨率光场图像经4倍下采样后得到的图像的L1损失，计算第二空角特征对齐模块输出的特征图经过一层3×3卷积后得到的空角特征对齐图像与高空间分辨率光场图像经2倍下采样后得到的图像的L1损失，计算第三空角特征对齐模块输出的特征图经过一层3×3卷积后得到的空角特征对齐图像与高空间分辨率光场图像的L1损失，并利用这9个损失函数来更新网络参数，在训练达到预设轮次后得到最优网络参数下的多尺度光场图像空间超分辨率重建网络模型；其中，3×3卷积的卷积核大小为3×3、输入通道数为32、输出通道数为1、步长为1；步骤4：测试阶段，将步骤1中的低空间分辨率光场图像和2D高分辨率图像输入到最优网络参数下的多尺度光场图像空间超分辨率重建网络模型中，输出一幅角度分辨率为U×V且空间分辨率为λH×λW的高空间分辨率光场图像。

全文数据：

权利要求：

百度查询： 宁波大学 一种基于混合输入的多尺度光场图像空间超分辨率方法