买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于深度傅里叶Transformer网络的遥感图像时空融合方法及系统，本发明方法的具体为：将参考日期的粗图像和精细图像以及预测日期的粗图像输入到训练好的生成器中，输出预测日期的精细图像；其中，生成器包含频谱协调模块与空域信息分支，频谱协调模块包含基于幅值的Transformer模块和基于相位的Transformer模块。本发明的方法区别于传统的遥感图像单一空域分析，结合频率分析在处理全局特征、处理异构数据以及增强模型泛化能力方面的优点，并利用Transformer模型的自注意力机制，有效提高了遥感图像时空融合生成图像的真实度，为遥感图像时空融合任务提供了新的思路。

主权项：1.一种基于深度傅里叶Transformer网络的遥感图像时空融合方法，其特征在于，包括以下步骤：将参考日期的粗图像和精细图像以及预测日期的粗图像输入到训练好的生成器中，输出预测日期的精细图像；在训练生成器时，将生成器与一个鉴别器构成遥感图像时空融合模型，联合优化遥感图像时空融合模型参数，所述生成器用于获取预测日期的精细图像，所述鉴别器用于对生成器生成的精细图像和真实的精细图像进行判别，其中，生成器包含频谱协调模块与空域信息分支，频谱协调模块包含基于幅值的Transformer模块和基于相位的Transformer模块；基于相位的Transformer模块和基于幅值的Transformer模块中的处理流程相同，基于相位的Transformer模块或者基于幅值的Transformer模块均包含多维卷积头转置注意力机制和门控多维卷积前馈网络；在所述生成器中，参考日期的粗图像经过第一卷积分支进行多阶段卷积以提取特征，预测日期的粗图像经过第二卷积分支进行多阶段卷积以提取特征，参考日期的精细图像经过第三卷积分支进行多阶段卷积以提取特征，每个卷积分支均由多个参数不共享的卷积块依次级联而成，第一卷积分支、第二卷积分支以及第三卷积分支所包含的卷积块数量相同，每个卷积分支中每个阶段的卷积块均输出一个中间特征图，在三个卷积分支中将属于同一阶段卷积块输出的中间特征图作为对应阶段的频谱协调模块的输入，并将参考日期的精细图像传入空域信息分支，然后将各个阶段的频谱协调模块输出的特征图以及空域信息分支输出的空间信息特征图进行拼接，得到融合特征图，将融合特征图经过一层标准卷积层，得到预测日期的精细图像。

全文数据：

权利要求：

百度查询： 浙江大学 基于深度傅里叶Transformer网络的遥感图像时空融合方法及系统