买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉工程大学

摘要：本发明公开了一种基于swinTransformer的红外与可见光图像融合的方法，属于多模态图像融合技术领域，包括S1、构建图像融合系统；S2、输入红外图像和可见光图像；S3、将S2中输入的图像分别输入到特征粗提取模块中，经注意力增强模块和特征无损传递模块进一步提取特征；S4、将S3中得到的特征输入到特征细提取模块中，然后输入模态交互模块中；S5、将S4得到的不同模态的特征经含有交叉注意力的模态交互模块后，输出至特征重建模块；S6、使用卷积将S5得到的特征重新映射回对应的图像空间，完成融合图像的输出。本发明采用上述一种基于swinTransformer的红外与可见光图像融合的方法，提高了红外与可见光图像融合的融合图像的质量。

主权项：1.一种基于swinTransformer的红外与可见光图像融合的方法，其特征在于，包括以下步骤：S1、构建图像融合系统，包括图像输入模块、特征粗提取模块、注意力增强模块、特征细提取模块、特征无损传递模块、模态交互模块和特征重建模块，图像输入模块同时接收两种图像数据源；S2、通过图像输入模块向图像融合系统内输入红外图像和可见光图像；S3、将S2中输入的图像分别输入到特征粗提取模块中，经注意力增强模块和特征无损传递模块进一步提取特征；S4、将S3中得到的特征输入到特征细提取模块中，对图像特征进行特征的细粒度提取，然后输入模态交互模块中；S5、将S4得到的不同模态的特征经含有交叉注意力的模态交互模块后，输出至特征重建模块；S6、使用卷积将S5得到的特征重新映射回对应的图像空间，完成融合图像的输出；S3的具体步骤如下：S31、对输入图像进行的卷积操作，获得图像的粗粒度特征，以及相应的局部信息；S32、将图像的粗粒度特征送入到注意力增强模块，注意力增强模块包含两个部分：空间注意力增强模块和通道注意力增强模块，空间注意力增强模块，通过对图像空间位置的学习，得到对应的空间权重，通道注意力增强模块使用最大池化和平均池化同时处理，经由同一个MLP进行信息共享，空间注意力在通道维度上顺序使用最大池化和平均池化，经由卷积和激活函数得到增强后的特征；S33、增强后的特征被无损传递模块的可逆神经网络接收，将特征按照通道均等划分为两部分，在可逆神经网络中，加入瓶颈残差块，通道均分后的特征经过瓶颈残差块与通道间的信息进行关联，经过对特征加法和乘法操作后，将分开的通道特征拼接在一起；S34：瓶颈残差块先进行的卷积，使用BN后RELU6函数对特征激活，放入到的DW卷积经过BN后由RELU6激活，最后的特征经由的卷积进行变换，BN后完成对特征的处理；S4的具体步骤如下：S41、特征尺寸为，swinBlock会将特征进行滑动窗口的划分，大小的窗口将特征划分成尺寸为，特征被映射为Q、K、V向量进行处理；S42、经过LN进行归一化操作，窗口多头自注意力将特征处理，与LN层接收的特征进行加法操作，之后使用LN和MLP对特征进行处理，再与先前加法操作的结果进行相加，完成一个swinBlock的处理；S43、重复S42步骤，对特征进行细粒度提取。

全文数据：

权利要求：

百度查询： 武汉工程大学 基于swinTransformer的红外与可见光图像融合的方法