买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国海洋大学

摘要：本发明涉及一种基于ViT预训练的轻量化高光谱与全色图像融合方法，属于图像处理技术领域，对高光谱和全色图像进行预处理，然后分别利用优化后的全色特征提取模型、全色特征提取器提取关键特征，并采用一种轻量化融合模型有效地结合两种图像的信息。本发明通过在特定的数据集上对模型进行迭代优化和微调，提高了模型的适应性和融合精度，同时使用交叉熵损失函数确保了在训练过程中融合质量的持续提升。本发明引入自适应权重计算模块，可以根据输入图像的特征动态调整全色和光谱权重因子，提升融合效果的自然性和真实感。通过多个融合模块的层次化处理，使得特征在融合过程中逐步细化和优化，增强了模型的泛化能力和对复杂场景的适应性。

主权项：1.一种基于ViT预训练的轻量化高光谱与全色图像融合方法，其特征在于，包括如下步骤：S1：对PanCollection全色图像数据集进行预处理，得到PanCollection全色图像PPAN；S2：构建全色特征提取模型，并将PanCollection全色图像PPAN输入，得到判定结果OPAN；全色特征提取模型由位置编码器、全色Transformer编码器和全色判定器构成，位置编码器由图像块分割模块和位置嵌入模块组成，图像块分割模块使用pytorch中的unfold函数将大小为256×256的PanCollection全色图像PPAN按从上到下、从左到右的顺序分为大小为8×8的1024个图像块位置嵌入模块依次包括卷积核大小为1*1、步长为1的第一卷积层，第一批标准化层，第一ReLU激活函数层，卷积核大小为3*3、步长为2的第二卷积层，第一Sigmoid激活函数层，卷积核大小为5*5、步长为3的第三卷积层，第一批标准化层和第二ReLU激活函数层构成，将图像块PPANs输入到位置嵌入模块中，输出得到全色位置编码全色Transformer编码器包括第一Transformer模块、第二Transformer模块和第三Transformer模块；将全色位置编码输入到第一Transformer模块中得到第一全色位置编码将第一全色位置编码输入到第二Transformer模块中得到第二全色位置编码将第二全色位置编码输入到第三Transformer模块中得到第三全色位置编码全色判定器包括第一Flatten层、第一全连接层和第一Softmax函数，将第三全色位置编码输入全色判定器中，输出得到判定结果OPAN；S3：对步骤S2多次迭代，得到预训练后的全色特征提取模型；S4：对GF2Hyper图像数据集进行预处理，得到GF2Hyper全色图像PP′AN和GF2Hyper高光谱图像PHSI；S5：构建轻量化融合模型，轻量化融合模型由全色特征提取器、光谱特征提取器、融合模块、自适应权重计算模块和重建模块构成；光谱特征提取器包括第一光谱模块、第二光谱模块和第三光谱模块，第一光谱模块依次包括第一卷积模块、第二卷积模块、第一光谱注意力模块和第二光谱注意力模块，第一卷积模块依次由一个卷积核为1*1、步长为1的第七卷积层，第二批标准化层和第三ReLU激活函数层构成；第二卷积模块依次由一个卷积核为3*3、步长为1的第八卷积层，第三批标准化层，第三ReLU激活函数层和第四残差连接层构成；第一光谱注意力模块由第一标准化层、第二Flatten层、第二全连接层和第二Sigmoid激活函数层构成；第二光谱注意力模块由第三全连接层和第三Sigmoid激活函数层构成；将GF2Hyper高光谱图像PHSI输入到第一光谱模块中，输出得到第一光谱特征ATT1；第二光谱模块依次包括第三卷积模块、第三光谱注意力模块和第四光谱注意力模块，第三卷积模块依次由一个卷积核为5*5、步长为3的第九卷积层，第四批标准化层，第四ReLU激活函数层和第五残差连接层构成；第三光谱注意力模块由第二标准化层、第三Flatten层、第四全连接层和第四Sigmoid激活函数层构成；第四光谱注意力模块由第五全连接层和第五Sigmoid激活函数层构成；将第一光谱特征ATT1输入到第二光谱模块中，输出得到第二光谱特征ATT2；第三光谱模块依次包括第四卷积模块和第五光谱注意力模块；第四卷积模块依次由一个卷积核为7*7、步长为5的第十卷积层，第五批标准化层，第五ReLU激活函数层和第六残差连接层构成；第五光谱注意力模块由第六全连接层和第六Sigmoid激活函数层构成；将第二光谱特征ATT2输入到第三光谱模块中，输出得到光谱特征FHSI；S6：将GF2Hyper全色图像P′PAN经全色特征提取器输入至自适应权重计算模块，同时将GF2Hyper高光谱图像PHSI经光谱特征提取器输入至自适应权重计算模块中，自适应权重计算模块计算各自权重后依次输入至融合模块和重建模块，最后得到重建图像O；全色特征提取器由预训练后的全色特征提取模型的位置编码器和全色Transformer编码器组成，将GF2Hyper全色图像P′PAN输入到全色特征提取器中，得到全色特征F′PAN；将GF2Hyper高光谱图像PHSI输入到光谱特征提取器中，得到光谱特征FHSI；将全色特征F′PAN和光谱特征FHSI输入到自适应权重计算模块中，得到全色权重因子GPAN和光谱权重因子GHSI；将全色特征F′PAN、光谱特征FHSI、全色权重因子GPAN和光谱权重因子GHSI输入到融合模块，输出得到融合特征F3；将融合特征F3输入到重建模块中，输出得到重建图像O；融合模块依次包括第一融合模块、第二融合模块和第三融合模块；第一融合模块由第五卷积模块、第六卷积模块和特征融合层组成；第五卷积模块依次由卷积核大小为5*5、步长为3的第十一卷积层，第六批标准化层和第六ReLU激活函数层；第六卷积模块依次由卷积核大小为3*3、步长为2的第十二卷积层和第七Sigmoid激活函数层组成；特征融合层由维度为256×256×64的初始矩阵组成；将全色特征F′PAN乘以全色权重因子GPAN输入到第五卷积模块中，得到将光谱特征FHSI乘以光谱权重因子GHSI输入到第六卷积模块中，得到将和输入到特征融合层中分别与初始矩阵相乘，然后相加得到第一融合特征F1；第二融合模块由第七卷积模块、第八卷积模块和平均池化层组成；第七卷积模块依次由卷积核大小为3*3、步长为2的第十三卷积层，第七批标准化层和第七ReLU激活函数层；第八卷积模块依次由卷积核大小为3*3、步长为1的第十四卷积层和第八Sigmoid激活函数层组成；将第一融合特征F1输入到第二融合模块中，得到第二融合特征F2；第三融合模块由第九卷积模块、第十卷积模块和最大池化层组成；第九卷积模块依次由卷积核大小为3*3、步长为1的第十五卷积层，第八批标准化层和第八ReLU激活函数层组成；第十卷积模块依次由卷积核大小为1*1、步长为1的第十六卷积层和第九Sigmoid激活函数层组成；将第二融合特征F2输入到第三融合模块中，得到第三融合特征F3；S7：对步骤S6进行迭代，使用交叉熵损失函数约束模型，得到微调后的轻量化融合模型；S8：将待融合的全色图像P″PAN和高光谱图像P′HSI，输入到微调后的轻量化融合模型中，输出得到重建图像O′。

全文数据：

权利要求：

百度查询： 中国海洋大学 基于ViT预训练的轻量化高光谱与全色图像融合方法