买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明提供了一种基于参考图像的遥感图像清晰化方法，将特征提取子网络嵌入到融合模型的主干网络中，实现了中间层特征的共享及其增强，模型从高光谱图像和多光谱图像中并行提取特征，这些特征经过双交叉注意力机制的处理后，输入特征融合模块进行整合，在特征融合模块中，从高光谱和多光谱图像中提取的特征首先经过注意力机制加权，加权特征被送入融合网络，以生成具有更高空间分辨率的高光谱图像。本发明提升了融合图像的空间分辨率，而且实现了更细粒度的特征融合，从而增强了最终图像的细节和质量，促进了图像清晰化，更贴近于实际场景。

主权项：1.一种基于参考图像的遥感图像清晰化方法，其特征在于包括下述步骤：步骤1：构建注意力机制；双交叉注意力机制旨在通过两个独立的注意力路径优化两种不同性质的图像；首先，通过空间注意力路径增强空间分辨率低但具有高光谱分辨率的图像ILH，其中，高分辨率的放大倍数是低分辨率的4倍；在空间注意力路径中，ILH作为查询Q与空间分辨率高但为多光谱的图像IHM中的键K进行匹配，通过计算查询Q和键K之间的相似度确定查询Q和键K的匹配程度，相似度通过距离度量或相关性度量实现，距离度量包括余弦相似度；然后通过值V传递空间信息，形成空间注意力图SLH，HM：SLH，HM＝fSILH，IHM1其中，fs·表示空间注意力图网络，包括卷积层和激活层；在光谱注意力路径中，低空间分辨率高光谱图像ILH作为查询Q，与高空间分辨率且高光谱的参考图像IHH作为键K进行匹配；这一过程提取和增强ILH的光谱信息，通过匹配过程识别和突出在高光谱维度上的关键特征；匹配过程通过计算键K和值V的余弦相似度，为每个光谱通道分配一个权重，权重指示参考图像中哪些光谱特征与低分辨率图像中的相应特征最为匹配，匹配过程不仅关注图像的光谱相似性，而且通过值V的传递，能够更有效地编码和重构ILH的光谱细节，最终形成光谱注意力图CLH，HH：CLH，HH＝fCILH，IHH2其中，fc·表示通道注意力图网络，包括卷积层和激活层；空间注意力路径和空间注意力路径分别处理并产生两个特征图SLH，HM和CLH，HH，特征图SLH，HM和CLH，HH用于生成超分辨率图像：Outputdual＝{SLH，HM，CLH，HH}3；步骤2：构建3个串联的特征融合模块；首先将超分辨率图像Outputdual提供给第一个特征融合模块，第一个特征融合模块将输入的多光谱信息与高光谱信息结合，形成初始融合特征接着，初始融合特征经过pixelshuffle上采样，提升其空间分辨率，得到第二融合特征Fup1，此后的每个特征融合步骤都遵循这一模式，即： 其中n表示融合步骤的次序，递归式的过程确保了每一级的特征图不仅在空间尺度上增大，同时细节的丰富性也得到加强。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于参考图像的遥感图像清晰化方法