买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学;杭州电子科技大学舟山同博海洋电子信息研究院有限公司

摘要：本发明公开了基于层级感受野Transformer的图像超分辨率方法，该方法首先将低分辨率图像输入到浅层特征提取模块，通过卷积层提取得到浅层特征。其次将浅层特征输入到由若干个HRT模块级联而成的深层特征提取模块，得到深层特征。最后将浅层特征和深层特征分别输入图像重建模块，将两个重建模块的输出相加后得到高分辨率图像。本发明大幅提升了图像超分辨率重建的效果，具有广泛的应用前景和显著的实用价值。

主权项：1.一种基于层级感受野Transformer的图像超分辨率方法，其特征在于，包括以下步骤：S1.将低分辨率图像输入到浅层特征提取模块，通过卷积层提取得到特征F0；S2.将特征F0输入到由若干个HRT模块级联而成的深层特征提取模块，得到特征FODFE；所述HRT模块每个均包括顺序连接的全局线性Transformer层、各向异性窗口Transformer层和局部通道偏移卷积层；第i个所述HRT模块具体实现过程如下：S21.在第i个HRT模块中，将上一模块的输出特征图Fi-1输入到HRT中的全局线性Transformer层，该层包括两个残差模块，第一个残差模块包括顺序连接的Layer归一化层和交叉注意力层，第二个残差模块包括顺序连接的Layer归一化层和全连接层，最后输出特征图FGLTL；S22.将特征图FGLTL输入到各向异性窗口Transformer层，该层包括两个残差模块，第一个残差模块包括Layer归一化层和各向异性自注意力层，第二个残差模块包括Layer归一化层和全连接层，最后输出特征图FARwinTL，具体过程如下：S221.对特征图FGLTL进行Layer归一化LNorm，得到特征图X∈RH×W×C；S222.对于特征图X，采用水平矩形窗口和垂直矩形窗口将其划分为等量的特征块其中Hw是窗口的高度，Ww是窗口的宽度，在水平矩形窗口中，Hw＜Ww，垂直窗口则反之；对每个特征块Xi进行多头自注意力计算，特征块Xi对第m个头部的自注意力计算表示为： 其中，是第m个自注意力头的输出，是特征块Xi经过重构矩阵重构后的特征块，是特征块Xi经过重构矩阵重构后的特征块，是特征块Xi经过重构矩阵重构后的特征块，是每个自注意力头的通道数量，M是自注意力的头数，B是偏置项；S223.将经过水平和垂直多头自注意力计算后的特征块按照原空间位置进行拼接，得到特征图FV1和FH；S224.对FV1和FH进行自适应加权相加，对应权值为λV和λH，计算公式为：Fout＝λVFV1+λHFHS225.将Fout输入到第二个残差块，先后经过Layer归一化和全连接层计算，得到输出特征图FARwinTL，即各向异性窗口Transformer层的输出；S23.将特征图FARwinTL输入到局部通道偏移卷积层，该层由通道注意力模块、通道偏移卷积层以及一个通用卷积层组成，最后输出特征图FLCSL；S24.HRT模块之间采用残差学习的方式连接，对于第i个HRT模块，将其输入特征图Fi-1与特征图FLCSL相加，得到HRT模块的输出特征图Fi；S25.浅层特征图F0经过若干HRT模块处理后，经过一层3×3卷积，输出特征图FODFE，即深层特征提取模块的输出；S3.将特征F0和特征FODFE分别输入图像重建模块，将两个重建模块的输出相加后得到高分辨率图像IHR。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 杭州电子科技大学舟山同博海洋电子信息研究院有限公司 基于层级感受野Transformer的图像超分辨率方法