买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：泉州装备制造研究所

摘要：本发明涉及图像处理领域，具体涉及无监督高光谱图像融合方法、系统、存储介质及产品，包括如下步骤：S1：获取超分辨重建的低分辨高光谱图像，获取高分辨多光谱图像作为引导图像；S2：将高分辨多光谱图像输入编解码器网络，提取高分辨多光谱图像的金字塔语义特征作为深度先验；S3：随机编码作为深度先验引导网络的输入，逐步在金字塔语义特征先验的引导下完成高分辨高光谱图像的重建，获得更好的重建结果；S4：重建结果输入两个具有预定义权重的卷积层，输出最佳的重建结果，本发明采用无监督深度学习，不需要训练数据，将重建问题转化为一个条件图像生成问题。

主权项：1.无监督高光谱图像融合方法，其特征在于：包括如下步骤：S1：获取超分辨重建的低分辨高光谱图像，获取高分辨多光谱图像作为引导图像，其中和为图像的谱段通道数，，、和、分别表示图像的宽度和高度，，；S2：将高分辨多光谱图像输入编解码器网络，提取高分辨多光谱图像的金字塔语义特征作为深度先验；步骤S2中的编解码器网络包括编码器、解码器、空间注意力模块和通道注意力模块；编码器由个编码块构成，第一个编码块由卷积核为、步长为1的卷积层、批量归一化层和LeakyReLU层按顺序组成，用于提取高分辨多光谱图像的浅层特征并构建上下文信息，其余个编码块是由两层卷积算子、批量归一化层和LeakyReLU层按顺序构成，用于将降采样后的图像特征进行进一步的抽象和转化；解码器与编码器相对称，由个解码块构成，将编码器获取的抽象特征和全局特征进行映射转换，逐层重建为与原始输入相同尺寸的解码器特征；解码块由PixelShuffle算子、卷积算子和LeakyReLU激活函数按顺序组成，PixelShuffle算子用于像素重排操作；空间注意力模块对编码器的每个编码块的输出特征分别进行最大池化和平均池化，并在通道维度上进行堆叠；然后，经过的卷积、批量归一化层和ReLU层的操作下进一步挖掘特征，再利用卷积进行降维，经过Sigmoid激活函数，得到空间掩码；最后，将空间掩码与残差进行逐元素相乘得到空间注意力特征映射，上述过程表示为： ； ；式中，表示Sigmoid函数的激活操作，表示1×1卷积算子的运算，表示卷积算子的运算，表示ReLU函数的激活操作，表示批归一化处理，表示通道堆叠操作，表示平均池化处理，表示最大池化处理，表示逐元素相乘；对通道注意力模块进行轻量化优化，在不降低维度的情况下，通过考虑每个通道及其个近邻来捕获本地跨通道交互，首先对编码器输出的特征映射进行特征提取，过程表示为： （3）；式中，通道注意力模块的输入表示为编码器输出的特征映射，表示编解码器网络的通道注意力模块中经过卷积、批归一化和激活函数提取到的中间特征；对重建的解码器特征的全局空间信息进行建模，将输入的进行逐通道全局平均池化；通道之间相关性使用核尺寸为的一维卷积进行建立，其中内核大小代表本地跨通道交互的覆盖范围，即有多少个相近邻参与一个通道的注意力预测，的大小与通道维数成比例，Sigmoid函数激活后得到的通道掩码与输入特征逐元素相乘，并将其结果与编码器输出的特征映射相加，该过程表示为： （4）； （5）；式中，表示为加权后的注意力特征，表示通道注意力模块最终的输出结果；S3：随机编码作为深度先验引导网络的输入，逐步在金字塔语义特征深度先验的引导下完成高分辨高光谱图像的重建，同时利用两种基于门控注意力机制的特征引导模块将编码器网络和解码器网络提取的特征进行对齐，获得重建结果；步骤S3的具体操作如下：深度先验引导网络是利用随机编码作为输入，在金字塔语义特征深度先验的指导下逐步完成高分辨高光谱图像的重建，深度先验引导网络包括编码特征引导模块、解码特征引导模块和双重注意力模块；在深度先验引导网络中，编码特征引导模块利用编解码器网络的编码器获取的金字塔语义特征深度先验作为制导，采用的卷积、LeakyReLU单元和Sigmoid激活函数对高级特征进行门控，以生成条件权重，通过门控机制，对双线性插值Bilinear上采样和批归一化处理后导出的特征进行加权；上述过程表示为： （6）； （7）； （8）；式中，表示编码特征引导模块调制后的特征，表示编码特征引导模块制导特征归一化后的权重，表示上采样后的特征，表示LeakyReLU函数的激活，表示双线性插值函数的上采样，表示编码特征引导模块的输入，即前一个双重注意力模块的输出特征，表示编码块提取到的语义特征；解码特征引导模块的结构和原理与编码特征引导模块相似，不同的是，编码特征引导模块引导的是与多光谱引导图像特征的语义对齐，而解码特征引导模块引导相似的空间局部性,解码特征引导模块对深度先验引导网络的特征进行的变换表示如下： （9）； （10）； （11）；式中，表示解码特征引导模块使用门控机制调制后的特征，表示解码特征引导模块制导特征归一化后的权重，表示解码特征引导模块的输入特征，第一个解码特征引导模块的输入是随机编码，第二个以后是编码特征引导模块的输出，表示变换后的中间特征，表示解码块提取到的语义特征；双重注意力模块包括坐标通道注意力模块和全局空间注意力模块，双重注意力模块沿频谱维度和全局空间维度生成注意力图，将注意力特征与输入特征相乘，进行自适应特征优化，获得输入数据的深层空间和光谱特征；为获取嵌入位置信息频谱权值并减少位置信息的丢失，输入特征，即解码特征引导模块的输出，在经过的卷积层后，将坐标通道注意力模块分解成两个并行的特征编码块，分别在水平坐标和垂直坐标上进行平均池化和标准池化，这两串特征编码可以建立起沿一个空间方向的远程依赖关系，并保持沿另一个空间方向的精确位置信息，这使得模型可以分别沿着两个空间方向聚合特征，并生成一对方向感知特征映射，该过程表示为： （12）； （13）；式中，表示水平方向生成的特征映射，表示垂直方向生成的特征映射，、分别表示对水平坐标、垂直坐标的标准偏差池化，、分别表示对水平坐标、垂直坐标的平均池化；将水平方向和垂直方向生成的特征映射进行连接，由共享的卷积层进行特征提取，即： 14；式中，表示为坐标通道注意力模块提取的中间特征；最后，将提取的沿空间维度划分为两个不同参数、，利用1×1的卷积层分别将、变换为与输入特征相同通道维数的特征映射，在Sigmoid函数作用下，计算这两个方向的参数特征的注意力权重，并将其加权到坐标通道注意力模块的输入特征上，得到最终的坐标通道注意力： 15；为建立整合特征的内部依赖关系，采用全局空间注意力模块对全局空间背景进行建模，预设输入特征，对进行三个分支处理，采用、和分别表示，对和进行卷积生成两个新的特征映射、，将和重塑为、，其中，代表空间像素的数量，将的转置结果与相乘，应用Softmax函数计算得到每个像素权重： 16；同时，将进行卷积并将其重塑为，随后，将与进行矩阵乘法并将结果重塑为，从而获得全局空间注意力权重，即： 17；将CCA模块的输出、GSA模块的输出与输入特征相加得到双重注意力模块的输出特征，即： 18；S4：将步骤S3获得的重建结果输入两个具有预定义权重的卷积层，利用预设的损失函数挖掘重建的高分辨高光谱图像与低分辨高光谱图像之间的光谱相似性，以及高分辨高光谱图像与高分辨多光谱图像之间的空间相似性，输出最佳的重建结果；步骤S4的具体操作如下：假设，，分别表示HR-HSI、LR-HSI、HR-MSI，损失函数表示为： 19；式中，表示重建的高分辨高光谱图像，表示为模糊算子，表示空间下采样操作，表示为光谱降采样操作，表示为Frobenius范数，在该损失函数中，第一部分是为了探索重建结果与LR-HSI之间的光谱相似性，第二部分是为了探索重建结果与HR-MSI之间的空间相似性，则作为一个常数标量，用于平衡这两部分，上述两个部分的操作实现为在编解码网络的输出层之后的具有预定义权重的两个卷积层；进行模糊和下采样算子的卷积层具有根据空间缩放因子的核大小和步幅，并且根据Lanczos2滤波器预先计算核权重，光谱降采样操作通过具有1×1内核大小的卷积层进行实现，输入和输出的谱段通道数分别为C和3，其中内核权重根据所使用的多光谱相机光谱响应函数进行固定，力求这一层的输出得到最佳近似的HR-MSI，训练完成后，网络的输出重建的高分辨高光谱图像即为所需要的HR-HIS。

全文数据：

权利要求：

百度查询： 泉州装备制造研究所 无监督高光谱图像融合方法、系统、存储介质及产品