买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学

摘要：本发明公开了一种空间、频域联合的任意尺度多模态遥感图像的超分辨率重建方法，包括：1、获取低分辨率的多模态遥感图像集与高分辨率图像，2、构建超分辨率重建网络，包括：上采样模块、浅层特征提取模块、N个级联的编码器模块、多模态融合模块、中间模块和N个级联的解码器模块以及通道映射模块，3、通过反向传播算法对所述超分辨率重建网络进行训练，并使用损失函数计算网络损失以更新网络参数，直至损失函数收敛为止，从而得到训练好的超分辨率重建模型。本发明能在大因子退化的场景下，解决重建结果语义错误和模糊效果的问题，从而能提高重建图像质量。

主权项：1.一种空间、频域联合的任意尺度多模态遥感图像的超分辨率重建方法，其特征在于，包括如下步骤：步骤1：获取低分辨率的多模态遥感图像集ILR＝{P,M}与高分辨率图像其中，表示RGB图像，表示高光谱图像，H表示图像的高度，W表示图像的宽度，3表示RGB图像的通道数，C′表示高光谱图像的通道数，r表示重建因子；步骤2：构建超分辨率重建网络，包括：上采样模块、浅层特征提取模块、N个级联的编码器模块、多模态融合模块、中间模块和N个级联的解码器模块以及通道映射模块；步骤2.1、所述上采样模块对ILR＝{P,M}进行双线性插值，从而将多模态遥感图像上采样r倍，得到初始图像集I＝{P′,M′}，其中，表示上采样后的RGB图像，表示上采样后的高光谱图像；步骤2.2、所述浅层特征提取模块利用卷积层对初始图像集I进行处理，得到浅层特征集I0＝{P0,M0}，其中，表示浅层RGB特征，表示浅层高光谱特征，C表示特征的通道数；步骤2.3、当i＝1时，第i个级联的编码器模块对I0＝{P0,M0}进行处理后，输出第i个编码特征集其中，表示第i个级联的编码器模块输出的RGB特征，表示第i个级联的编码器模块输出的高光谱特征；当i＝2,3,…,N时，将第i-1个编码特征集作为第i个级联的编码器模块的输入，并由第i个级联的编码器模块输出第i个编码特征集从而第N个级联的编码器模块输出第N个编码特征集其中，表示第i-1个级联的编码器模块输出的RGB特征，表示第i-1个级联的编码器模块输出的高光谱特征，表示第i个级联的编码器模块输出的RGB特征，表示第i个级联的编码器模块输出的高光谱特征，表示第N个级联的编码器模块输出的RGB特征，表示第N个级联的编码器模块输出的高光谱特征；步骤2.4、所述多模态融合模块对进行处理，得到融合特征步骤2.5、所述中间模块对Ifuse进行处理，并得到融合后的中间特征步骤2.6、当i＝1时，将第i个级联的解码器模块对Ibottleneck进行处理后，输出第i个解码特征当i＝2,3,…,N时，将第i-1个解码特征作为第i个级联的解码器模块的输入，并由第i个级联的解码器模块输出第i个解码特征从而由第N个级联的解码器模块输出第N个解码特征步骤2.7、所述通道映射模块利用卷积层fconv对进行处理，得到重建的超分辨率结果图其中，+表示残差连接；步骤3：通过反向传播算法对所述超分辨率重建网络进行训练，并使用L1损失函数L1＝||IHR-ISR||1计算网络损失以更新网络参数，直至损失函数收敛为止，从而得到训练好的超分辨率重建模型，用于低分辨率图像重建出相应的高分辨率图像。

全文数据：

权利要求：

百度查询： 安徽大学 空间、频域联合的任意尺度多模态遥感图像的超分辨率重建方法