买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于图像信息处理技术领域，公开了一种深度特征相关性矩阵的红外和可见光图像融合方法。该红外和可见光图像融合方法对应的融合框架主要由自重构源图像任务、交叉重构源图像任务和分割任务组成；其中，源图像是红外图像和可见图像；自重构源图像任务和交叉重构源图像任务用于约束融合框架获得融合和重构能力；交叉重构源图像任务中引用动态交互融合；分割任务用于提供目标语义特征嵌入到动态交互融合过程，帮助融合特征提供目标语义信息；提出跨任务交互模块构建深度特征相关性矩阵来解决两个不同层级任务在特征融合过程中存在的语义差异问题。本发明能够使得融合特征包含丰富的目标语义信息，进而重构出高质量的融合图像。

主权项：1.一种深度特征相关性矩阵的红外和可见光图像融合方法，其特征在于，该红外和可见光图像融合方法对应的融合框架主要由自重构源图像任务、交叉重构源图像任务和分割任务组成；其中，源图像是红外图像和可见图像；自重构源图像任务和交叉重构源图像任务用于约束融合框架获得融合和重构能力；交叉重构源图像任务中引用动态交互融合；分割任务用于提供目标语义特征嵌入到动态交互融合过程，帮助融合特征提供目标语义信息；提出跨任务交互模块构建深度特征相关性矩阵来解决两个不同层级任务在特征融合过程中存在的语义差异问题，步骤如下：（1）自重构源图像任务自重构源图像任务主要由红外编码器、可见编码器以及自重构解码器组成；红外编码器和可见编码器均为三层，其中每一层均由卷积+残差块组成；自重构解码器共三层，每一层由卷积+残差块+上采样组成；红外编码器、可见编码器以及自重构解码器之间具有跳跃连接；自重构源图像任务以自监督的方式将源图像作为真值进行训练，确保红外编码器提取的红外特征包含红外图像的热辐射信息以及可见编码器提取的可见特征包含可见图像的细节纹理信息；因此，训练自重构源图像的损失函数表示为： 1其中，，；表示自重构源图像和源图像的MSE损失；表示自重构源图像和源图像的结构一致性损失；表示结构一致性指数；表示红外图像或可见图像；表示自重构的红外图像或可见图像；（2）交叉重构源图像任务交叉重构源图像任务主要由动态交互融合和交叉重构解码器组成；在动态交互融合过程中嵌入分割任务提供的目标语义信息；动态交互融合包括特征融合模块、特征转换模块、跨任务交互模块、任务查询模块以及特征解耦模块；在动态交互融合过程中，首先，由4个3×3卷积层、1个1×1卷积层以及连接操作组成的特征融合模块将红外特征和可见特征融合生成浅层融合特征；然后，由1个3×3卷积层和1个1×1卷积层组成的特征转换模块将浅层融合特征转换为浅层目标语义特征，使其转移到分割任务中；浅层融合特征关注图像对中的像素级关系，浅层目标语义特征关注目标语义信息；由于任务级别不同，浅层融合特征和浅层目标语义特征存在语义差异；因此，构建由查询、键和值组成的跨任务交互模块，经过计算深度相关性矩阵来消除浅层融合特征和浅层目标语义特征的语义差异，同时增强不同任务之间的信息交互，最终生成深层融合特征和深层目标语义特征；具体如下：浅层融合特征和浅层目标语义特征分别进行展平操作转换成向量，再进行连接操作生成混合向量；混合向量和可学习权重矩阵计算生成一个查询向量Q、一个键向量K和一个值向量V，计算过程表示如下： 2其中，表示浅层融合特征和浅层目标语义特征连接后的初始混合向量；、和表示可学习的权重矩阵；随后，计算Q与K的缩放点积生成深度相关性矩阵，用softmax函数将其归一化为[0,1.0]；然后，将深度相关性矩阵与V相乘；该过程表示如下： 3其中，表示初始混合向量经过深度相关性矩阵交互后生成的混合向量；表示缩放因子；最后，根据生成深层融合特征和深层目标语义特征；接下来，构建由查询、键和值组成的任务查询模块，分别作用于交叉重构源图像任务和分割任务，以从深层融合特征和深层目标语义特征中进一步细化相应任务的信息；具体如下：对于交叉重构源图像任务，其对应的查询是浅层融合特征，键和值是深层融合特征，通过交叉注意力的方式计算出包含目标语义的融合查询特征；对于分割任务，其对应的查询是浅层目标语义特征，键和值是深层目标语义特征，通过交叉注意力的方式计算出包含像素级细粒度信息的目标语义查询特征；最后，由块“1×1卷积层+PReLU”和块“1×1卷积层+Sigmoid”组成的特征解耦模块，将融合查询特征和单一模态特征进行解耦操作生成另一模态特征，实现过程为：将融合查询特征和可见特征进行解耦操作，生成一个解耦后的红外特征，将融合查询特征和红外特征进行解耦操作，生成一个解耦后的可见特征；交叉重构解码器由三层组成，每一层由卷积+残差块+上采样组成；在动态交互融合后，输入解耦后的红外特征或可见特征到交叉重构解码器中，构出红外图像或可见图像；动态交互融合策略和交叉重构解码器之间具有跳跃连接；整个交叉重构源图像的训练过程表示如下：因此，训练交叉重构源图像的损失函数表示为： 4其中，，；表示交叉重构图像和源图像的MSE损失；表示交叉重构图像和源图像的结构一致性损失；表示结构一致性指数；表示红外图像图像或可见图像；表示交叉重构的红外图像或可见图像；（3）分割任务在分割任务中，任务查询模块产生细化的深层语义特征输入到分割头；其中，分割头共三层，前两层由卷积+残差块+上采样组成，最后一层是分类层，由1×1卷积构成；为了提供给融合特征更多的目标语义信息，训练分割任务的损失函数表示为： （5）其中，，表示CE损失；，表示Dice损失；和分别表示类别和像素总数；表示第个像素属于类的概率，是相应的语义标签；综上，训练红外和可见图像的融合框架的总损失为： （6）。

全文数据：

权利要求：

百度查询： 大连理工大学 深度特征相关性矩阵的红外和可见光图像融合方法