买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开了一种基于CNN和Transformer混合的序列图像超分辨率重建方法，包括：步骤1：首先，获取同一视场下目标的低分辨率序列图像与高分辨率图像作为样本；步骤2：构建基于CNN和Transformer混合序列图像超分辨率网络；步骤3、构建总损失函数L；步骤4、通过反向传播对混合超分网络进行训练，持续优化直至L收敛为止，得到的混合超分模型用于对待处理的序列图像进行重建，进而生成相应的高分辨率图像。本发明能精确重建图像的纹理和细节。

主权项：1.一种基于Transformer和CNN混合网络的序列图像超分辨率重建方法，其特征在于，包括如下步骤：步骤1：获取同一视场下目标的低分辨率序列图像与高分辨率图像；其中，表示第k张低分辨率图，分别为图像的长、宽，为图像的通道数；表示高分辨率图像相对于低分辨率图像的倍数；步骤2：构建基于CNN和Transformer混合的序列图像超分辨率网络，包括：上采样模块、浅特征提取模块、深层特征提取模块和重建模块；步骤2具体包括如下子步骤：步骤2.1、所述上采样模块对在通道维度进行重新堆叠，并按照R、G、B颜色通道的顺序进行排列后，再采用亚像素卷积层对每个颜色通道上的特征进行上采样操作，得到初始图像；步骤2.2、所述浅特征提取模块利用第一卷积层对初始图像进行处理，得到浅层特征；步骤2.3、所述深层特征提取模块由N个级联的CNN-Transformer模块组成，并对进行处理后，输出深层特征序列{}，其中，表示第n个级联的CNN-Transformer模块输出的深层特征；将第N个级联的CNN-Transformer模块输出的深层特征记为；所述深层特征提取模块中的每个CNN-Transformer模块包含一个Transformer块、一个CNN块和一个维度为1×1的卷积层；步骤2.3具体包括以下子步骤：步骤2.3.1、当=1时，所述第个级联的CNN-Transformer模块中的Transformer块对进行处理，得到第个级联的精细化编码特征；所述第个级联的CNN-Transformer模块中的Transformer块包括：第个多头注意力机制层和第个前馈神经网络；步骤2.3.1具体包括以下子步骤：步骤2.3.1.1、当n=1时，第个多头注意力机制层按照窗口尺寸为S×S将中的像素点进行划分后，得到尺寸为的若干个特征块，并在通道维度上对每个特征块进行展开后，重组成维度为的特征块序列，其中，表示特征块序列的长度，且，为特征块序列的宽度，且；表示特征块的长，表示特征块的宽；步骤2.3.1.2、第个多头注意力机制层中的第j头自注意力层通过不同的线性变换对进行处理，得到第个级联的第j个查询向量、第n个级联的第j个键向量、第个级联的第j个值向量，其中，分别表示第个级联的CNN-Transformer模块的Transformer块中第j头自注意力层内的三种线性变换所对应的权值矩阵；从而利用式6得到第个级联的第j个自注意力特征： 6式6中，d表示键向量的维度，表示激活函数；表示转置；步骤2.3.1.3、将第个级联的CNN-Transformer模块中所有自注意力头输出的自注意力特征进行聚合后，得到第个聚合的多头注意力特征，并输入第个级联的CNN-Transformer模块的Transformer块的前馈神经网络中进行处理后，得到第个级联的精细化编码特征；步骤2.3.2、当=1时，所述第个级联的CNN-Transformer模块中的CNN块对进行处理，得到第个级联的卷积增强特征；所述第个级联的CNN-Transformer模块中的CNN块包括：第个第一分支和第n个第二分支；其中，所述第个第一分支包括：全局池化层Avg-pool、全连接层和全连接层；所述第个第二分支包括：若干个卷积层；步骤2.3.2具体包括如下子步骤：步骤2.3.2.1、当n=1时，第n个第一分支的全局池化层Avg-pool对在每个通道上的二维特征压缩为1个实数，从而得到维度为的全局向量后，再经过第个第一分支的全连接层的处理，从而将全局向量的通道维度降低为1S，并输出维度为的高效表示向量，最后经过第n个第一分支的全连接层的处理，将高效表示向量的维度升回，并经过sigmoid函数的转化后，得到第n个归一化的权重向量；步骤2.3.2.2、当n=1时，第n个第二分支的若干个卷积层依次对进行处理后，得到通道优化特征，从而利用式7得到第个级联的CNN-Transformer模块中的CNN块输出的卷积增强特征： +7式7中，+表示残差连接；步骤2.3.3、当=1时，所述卷积层利用式5得到第个深层特征： 5式5中，表示在通道维度上的拼接操作；步骤2.3.4、当=2,3,…,时，将输入第n个级联的CNN-Transformer模块中进行处理，从而由第N个级联的CNN-Transformer模块得到第个深层特征；步骤2.4、所述重建模块采用第三卷积层利用式1得到重建的超分辨率结果图： 1式1中，表示残差连接；步骤3、利用式2构建总损失： 2式2中，表示纹理损失，表示平均绝对误差损失函数；并有： 3 4式3中，分别是和在第C个通道上的Gram矩阵；步骤4、通过反向传播算法对CNN和Transformer混合超分辨率网络进行训练，并计算所述总损失以更新网络参数，直至总损失收敛为止，从而得到训练后的CNN和Transformer混合超分辨率模型，用于对待处理的低分辨率序列图像进行重建，并得到相应的高分辨率图像。

全文数据：

权利要求：

百度查询： 合肥工业大学 基于Transformer和CNN混合网络的序列图像超分辨率重建方法