买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广东工业大学申请的专利一种基于深度学习的端到端多模态图像融合框架获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116977809B 。

龙图腾网通过国家知识产权局官网在2026-01-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311095043.8，技术领域涉及：G06V10/80；该发明授权一种基于深度学习的端到端多模态图像融合框架是由邸江磊;劳俞凯;豆嘉真;钟丽云;张欢;秦玉文设计研发完成，并于2023-08-29向国家知识产权局提交的专利申请。

本一种基于深度学习的端到端多模态图像融合框架在说明书摘要公布了：本发明属于图像处理领域，公开了一种基于深度学习的端到端多模态图像融合框架，用于解决针对复杂背景下跨模态图像融合结果存在模糊及特征提取能力不足的问题，本发明的融合方法基于卷积神经网络，核心在于利用特征编码模块和双分支嵌入的梯度滤波器来更好地捕获相关特征，再利自适应感知融合模块选择性地结合从红外和可见光偏振图像中提取的优势特征，实现互补融合。此外，设计了显著性加权像素级和梯度损失来指导对原始数据的图像特征进行提取和融合。最后，在特征解码模块通道维上对融合特征进行拼接和重构出融合图像。本发明能够有效实现复杂多模态图像的融合，具有特征提取效果好，融合图像视觉效果高、对比度高等特点。

本发明授权一种基于深度学习的端到端多模态图像融合框架在权利要求书中公布了：1.一种基于深度学习的端到端多模态图像融合方法，包括以下步骤： S1、利用不同成像模式的相机拍摄200对双模态图像构成待配准的双模态图像集G，经配准后的图像集为H和两种模态图像分别记为I1、I2； S2、将双模态图像I1、I2作为网络输入，经过特征编码器子网络来捕获到相关特征和 S3、将特征编码器的中间特征和进行通道特征相加获得融合特征 S4、将融合特征经过自适应感知融合模块，对特征和的信息占比进行权重调整，获得新的特征和其中自适应感知融合模块CFM共有3个，其中由卷积核大小为3×3的Prewitt算子、平均池化层、卷积核大小为3×3的深度卷积层以及Sigmoid激活函数组成，用于提取出多模态图像全局层次上优势特征； S5，将获得特征和直接特征相加，获得特征Fadd，并将特征Fadd作为下一个的特征编码模块的输入，在最后一个特征编码模块中获得融合特征其中i表示图像的第i个特征编码器； S6、将融合特征输入特征解码器子网络以重建出融合图像F； S7、将上述各个模块建成一个基于深度学习的端到端多模态图像融合框架中并计算输出的融合图像F与输入的多模态图像I1和I2之间的损失函数Loss值，通过对减低Loss值进行反向传播来训练多模态图像融合框架； S8、将待融合的双模态图像集H放入训练好的多模态图像融合框架中，测试得到融合图像F。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东工业大学，其通讯地址为：510009 广东省广州市东风东路729号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。