买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：辽宁师范大学

摘要：本发明属于计算机视觉领域，提出一种基于频率特征解耦的红外与可见光图像融合方法，包括以下步骤：收集红外与可见光图像，对图像进行尺寸调整以及滑动窗口取图像对等处理，构建具有多样性的红外与可见光图像融合数据集；设计基于频率特征解耦的红外与可见光图像融合网络；设计损失函数，用于监督网络模型的训练过程；在测试阶段，输入红外与可见光源图像，网络将输出最终的图像融合结果。本发明结合了拉普拉斯分解的监督方法，有效提升网络特征提取能力。

主权项：1.一种基于频率特征解耦的红外与可见光图像融合方法，其特征在于，步骤如下：步骤一：制作红外与可见光图像融合数据集1获取红外图像以及可见光图像作为原始图像；2调整红外图像与可见光图像的尺寸，获得大小一致的红外源图像与可见光源图像3将大小一致的红外源图像与可见光源图像使用固定大小的窗口、步长从上到下，从左到右滑动获取图像块，得到图像对；4将获取的图像对进行翻转和镜像操作，以增加数据集的多样性和样本数量，获得红外与可见光图像融合数据集；步骤二：设计频率特征解耦的红外与可见光图像融合网络，实现图像融合1频率特征生成模块：首先对红外源图像进行拉普拉斯分解，分为以下两步：构建高斯金字塔，高斯金字塔的第零层图像即为红外源图像对红外源图像进行下采样，生成高斯金字塔的第一层图像对第一层图像进行下采样得到第二层图像以此类推得到高斯金字塔的第m层图像计算拉普拉斯金字塔，用高斯金字塔第m层图像与其上一层图像经上采样后的图像做差得到拉普拉斯金字塔的第m层图像Rm，m表示第m层，范围为{1,2，……，M}；拉普拉斯金字塔的第零层图像R0是由红外源图像与拉普拉斯金字塔第一层图像R1做差得到，获得图像Rm、R0的这个过程表达为： 其中，Up表示将图像进行上采样操作；通过上式提取出图像的不同频率的成分，拉普拉斯金字塔的每一层都能反映原始图像在不同尺度下的边缘和细节信息，其中R0为红外图像基础图，R1到RM为红外图像频率特征图；接着对可见光源图像进行拉普拉斯分解，同理得Vm、V0获取的过程表达式为： 其中m表示为第m层，范围为{1,2，……，M}，其中V0为可见光图像基础图，V1到VM为可见光图像频率特征图；2频率特征解耦模块：由两个相同的分支组成：即红外图像频率特征解耦分支和可见光图像频率特征解耦分支；每个分支均包含3个卷积层，每层的卷积核参数为3*3*f，其中f为卷积核个数，第一层卷积核个数为64，第二层为128，第三层为256；卷积层所提取的分别为红外图像层级特征F′m、可见光图像层级特征F″m，m表示为第m层，范围为{1,2，……，M}；红外图像频率特征解耦分支和可见光图像频率特征解耦分支的输入分别为红外源图像与可见光源图像图像宽度为W、高度为H；将上一层的红外图像层级特征F′m-1、可见光图像层级特征F″m-1拼接并进行三次卷积运算，输出结果为该层级预测的红外图像频率特征图I′m和可见光图像频率特征图I″m，过程表示为：I′m,I″m＝C3CatF′m-1,F″m-15其中，C3表示三次卷积运算，Cat表示拼接操作；然后让频率特征Rm、Vm分别监督各个层级预测输出的频率特征图I′m、I″m，以此来保证相应的中间层有能力提取源图像的频率特征；该模块的loss函数LV以及LR表示为：LV＝MSEI″m,Vm6LR＝MSEI′m,Rm7其中，MSE表示均方误差；为了将红外图像与可见光图像的频率特征耦合到融合结果中，第二层至M层的层级特征Fm由频率特征解耦模块提取的红外图像层级特征F′m、可见光图像层级特征F″m经过拼接并卷积的操作得到，该过程表达为： 其中，C2为两次卷积操作，Cat表示拼接操作；红外图像层级特征F′m、可见光图像层级特征F″m也来自于层级特征Fm，由Fm经卷积操作后得到，表达为：F′m,F″m＝CFm,M≥m≥19由于特征F′m、F″m来自于Fm，从而确保了Fm包含源图像主要特征，因此有更好的融合效果；3基础特征提取模块，红外源图像与可见光源图像作为输入图像，将其拼接并经过卷积操作后得到特征Fbase；其次，使用红外图像基础图R0与可见光图像基础图V0相加后的图像对Fbase进行监督，该分支的loss函数LI表示为：LI＝MSER0+V0,Fbase10其中，MSE表示均方误差；4融合结果输出；由源图像与频率特征生成模块、频率特征解耦模块以及基础特征提取模块最终输出结果权重W相乘得到融合结果If，过程表示为： 其中，W为权重图，由FM和Fbase相加并卷积获得：W＝C4FM+Fbase12其中C4表示四次卷积操作；步骤三：网络训练的核心在于优化损失函数；本方法提出的频率特征解耦的红外与可见光图像融合网络，其损失函数由监督训练损失、融合损失两部分组成：监督训练损失，即LI、LV和LR；融合损失，即Lf；通过最小化loss函数L，网络训练得以进行，损失函数L表达式为L＝LI+LV+LR+Lf13其中Lf为基于SSIM的损失函数；步骤四：测试阶段；输入宽度W，高度H的一幅红外图像和一副可见光图像输出其最终融合结果If。

全文数据：

权利要求：

百度查询： 辽宁师范大学 一种基于频率特征解耦的红外与可见光图像融合方法