买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明提出了一种SAR与多光谱图像融合去云方法和系统。通过设计一种两阶段转换‑融合去云网络，该网络可分为图像转换和图像融合阶段两个部分，构成一个双U型端到端神经网络，两个子网络为图像转换子网络和图像融合子网络，结构对称并且复用一个解码器结构，在两阶段中间过渡部分，借助云掩膜权重图实现云掩膜权重图、有云MSI以及模拟无云MSI的三源图像融合，生成高质量的预测去云MSI结果。通过设计新的损失函数，指导网络训练，并基于SEN12MS‑CR数据集筛选出数据进行训练，最终得到SAR与多光谱图像融合去云模型。测试的输出图像结果表明，即使在完全没有地表数据的厚云情况下，两阶段转换‑融合去云网络也能重建可靠的地表信息，证明了本发明的有效性和实用性。

主权项：1.一种SAR与多光谱图像融合去云方法，其特征在于，包括如下步骤：步骤1，获取仿真数据集以及真实数据集，两个数据集中均包括无云的SAR图像、有云多光谱MSI图像；步骤2，构建两阶段转换-融合去云网络，所述转换-融合去云网络包括图像转换阶段和图像融合阶段两个部分，将得到的仿真数据集与真实数据集作为网络输入；图像转换阶段，构建第一个具有编码和解码的U型图像转换子网络，所述图像转换子网络包含若干图像转换层，每一图像转换层包含一个图像转换编码基本单元和解码基本单元，每个图像转换编码基本单元包括利用卷积层实现图像的下采样操作和利用ConvNeXt设计的特征提取及编码块Block，每个解码基本单元包括利用像素重排和转置卷积实现图像的上采样及解码操作Decoder，通道维度连接操作Concat和利用ConvNeXt设计的特征提取及解码块Block，第一层首先输入的是无云的SAR图像，经过最后一层的图像转换编码基本单元后获得的特征向量进入解码基本单元，最后再经过一个HardTanh激活函数，获得模拟无云MSI图像图像融合阶段，构建第二个具有编码和解码的U型图像融合子网络，所述图像融合子网络包括若干图像融合层，每一图像融合层包含一个图像融合编码基本单元和解码基本单元，所述图像融合编码基本单元的结构与图像转换编码基本单元相同，并与图像转换子网络共用解码基本单元，图像融合子网络的输入为模拟无云MSI图像有云多光谱MSI图像Copt与云掩膜权重图像CMS进行加权叠加合并操作后的融合图像，输出最终的去云MSI结果；步骤3，结合损失函数训练两阶段转换-融合去云网络，并利用训练好的网络实现有云多光谱图像MSI的去云。

全文数据：

权利要求：

百度查询： 武汉大学 一种SAR与多光谱图像融合去云方法和系统