买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏海洋大学

摘要：本发明公开了基于三支路GAN结合小波变换的红外与可见光图像融合方法，将红外图像和可见光图像通过小波变换分解为低频和高频分量，并对这些分量进行预融合，得到预融合图像；将红外图像、预融合图像和可见光图像分别输入到生成器的红外支路、可见光支路和中间支路中进行特征提取、特征融合和图像重构；通过在生成器与红外判别器和可见光判别器之间的对抗训练，生成最终的融合图像。该方法结合了CNN的局部特征提取能力和Transformer的全局特征提取能力，利用小波变换提供的先验知识，提高了融合图像的质量和训练效率。生成的融合图像具备显著的目标信息和清晰的纹理细节，具有较强的泛化能力和应用价值。

主权项：1.基于三支路GAN结合小波变换的红外与可见光图像融合方法，其特征在于，该方法包括以下步骤：S1：源图像的预融合，具体包含如下步骤：S1-1：在小波预融合模块WPM中，采用小波变换将红外图像Iir分解为红外低频分量ILL-ir与红外高频分量ILH-ir、IHL-ir和IHH-ir；S1-2：将可见光图像Ivis分解为可见光低频分量ILL-vis与可见光高频分量ILH-vis、IHL-vis和IHH-vis；S1-3：利用小波分解系数加权法和小波分解系数绝对值极大法分别对低频分量和高频分量进行预融合操作；S1-4：通过小波逆变换得到预融合图像Ip；S2：对网络模型进行训练，具体包含如下步骤：将红外图像Iir、作为先验条件的预融合图像Ip以及可见光图像Ivis分别输入到生成器G的三条支路中进行特征提取、特征融合和图像重构，在损失函数的约束下对网络模型进行训练，即在生成器G与红外判别器Dir、可见光判别器Dvis之间建立迭代对抗训练，当判别器无法辨识输入的图像来自于源图像还是来自于生成器生成的融合图像时，训练终止，即得到最终的融合图像If，具体包含如下步骤：S2-1：将红外图像Iir和融合图像If输入到红外判别器Dir中，以迫使融合图像If从红外图像Iir中获取相似的像素强度分布；S2-2：将可见光图像Ivis和融合图像If输入到可见光判别器Dvis中，以迫使融合图像If从可见光图像Ivis中获取相似的边缘梯度分布；S2-3：当生成器G与判别器Dir、Dvis之间的对抗训练趋于平衡时，即判别器无法区分输入图像是生成的融合图像还是源图像时，训练终止；S3：使用训练好的网络模型生成最终的融合图像，具体包含如下步骤：S3-1：利用小波预融合模块对红外图像Iir和可见光图像Ivis进行预融合，得到预融合图像Ip；S3-2：将预融合图像Ip与红外图像Iir、可见光图像Ivis一并输入到训练好的生成器G中，便可得到融合图像If。

全文数据：

权利要求：

百度查询： 江苏海洋大学 基于三支路GAN结合小波变换的红外与可见光图像融合方法