买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开了一种基于注意力机制的双分支红外光与可见光图像融合方法和系统。旨在解决现有红外光与可见光图像融合技术中出现的特征提取无法建立远程依赖关系、红外图像特征提取过程中噪声过高、图像融合后边缘信息模糊的问题。其包括：设计一个双分支网络。利用双注意力机制通道注意力机制和空间注意力机制模块对输入的红外图和可见光图进行多尺度特征提取。Transformer模块被设计为从源图像中捕获全局上下文信息，这使得模型能够捕捉到远程距离依赖关系。利用边缘特征增强模块对图像的边缘特征进行增强，并与Transformer模块输出图进行相加。最后通过多尺度融合块将两幅图像进行融合，得到输出融合图。本发明能有效提高融合图像的质量，取得良好的融合效果。

主权项：1.一种基于注意力机制的双分支红外光与可见光图像融合方法，其特征在于，包括以下步骤：将红外图与可见光图两幅源图像输入至双分支网络的双注意力机制特征提取块，获取两幅源图的多尺度特征；将所述的红外图和可见光图多尺度特征输入至Transformer模块，捕获图像的全局上下文信息，建立远程依赖关系；将建立远程依赖关系的特征图进行边缘特征增强，并将增强前的图像与增强后的图像相加；将相加后的红外图与可见光图进行多尺度特征融合，获得融合后的高质量图像；所述获取两幅源图的多尺度特征如下：双注意力机制特征提取块是将通道注意力机制和空间注意力机制结合起来，形成一个特征提取保存模块；特征提取保存模块包括一个残差块ResidualBlock、通道注意力块ChannelAttentionMechanismBlock和空间注意力块SpatialAttentionMechanismBlock；所述残差块REB、通道注意力块CAMB和空间注意力块SAMB包括：REB包含3个卷积核大小为5*5的卷积层、2个批归一化层、1个ReLU激活层来提取图像浅层特征；CAMB包含3个卷积核大小为3*3的卷积层、1个全局平均池化层、1个ReLU激活层、1个Sigmoid激活层、2个全连接层；SAMB包含3个卷积核大小为3*3的卷积层、1个ReLU激活层、1个Sigmoid激活层；所述特征提取表达式包括：F1＝REBII为输入双注意力机制特征提取模块的输入图像，其中，I由输入的RGB源图转化为只有亮度通道的灰度图像，并将灰度图裁剪为128*128大小，F1为预处理的源图像经过残差块REB输出的结果；由于本结构是双分支结构，故I在两个支路中分别代表经过预处理的可见光图、红外图；F2＝CAMBF1F2为F1经过通道注意力块CAMB的输出结果；F3＝SAMBF1F3是F2经过空间注意力块SAMB的输出结果；上述过程中，F1、F2、F3均为四维张量，通道数为128；双注意力机制特征提取模块输出结果为：F＝F1+F1*F2+F1*F3。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于注意力机制的双分支红外光与可见光图像融合方法和系统