买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安邮电大学申请的专利一种基于双模态融合网络的目标检测方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115861758B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211672837.1，技术领域涉及：G06V10/80；该发明授权一种基于双模态融合网络的目标检测方法及装置是由侯志强;孙颖;马素刚;杨晨;程敏捷;王忠民;范九伦设计研发完成，并于2022-12-26向国家知识产权局提交的专利申请。

本一种基于双模态融合网络的目标检测方法及装置在说明书摘要公布了：本发明提供一种基于双模态融合网络的目标检测方法，包括获取图像对数据集，建立双模态图像数据集，构建模块分别对红外图像和可见光图像编码，构建双路门控融合网络，将融合特征输入至基准方法YOLOv5‑s网络第三层，得到最终检测网络，处理好的图像对数据集，输入至最终检测网络中，得到检测结果；还包括一种基于本发明方法的目标检测装置；本发明方法采用嵌入门控融合网络，使模型能够确定两种模态图像在不同场景中对检测的贡献；引入多任务学习的思想，自适应调节权重分配，实现跨模态特征融；面对黑夜等复杂环境本发明具有较好的鲁棒性。

本发明授权一种基于双模态融合网络的目标检测方法及装置在权利要求书中公布了：1.一种基于双模态融合网络的目标检测方法，包括： 步骤A：获取图像对数据集，即利用红外成像设备拍摄红外图像，利用可见光成像设备拍摄可见光图像，然后将两种图像配准，得到图像对数据集； 步骤B：建立双模态图像数据集，即对配准的的图像对数据集进行数据增强处理，形成双模态数据集； 步骤C：构建模块分别对红外图像和可见光图像编码； 步骤D：构建双路门控融合网络，即通过构建的门控融合网络计算红外特征权值和可见光特征权值，自适应调节两路特征的权重分配，得到融合特征，完成门控融合网络训练； 步骤E：将融合特征输入至基准方法YOLOv5-s网络第三层，得到最终检测网络； 步骤F：将步骤B处理好的图像对数据集，输入至最终检测网络中，得到检测结果； 其中： 步骤A包括： 步骤A1：获取红外图像和可见光图像，即在全封闭的条件下使用一个可见光相机和一个红外相机拍摄照片，采用硬件对齐相机光轴的方式，使得两种照片图像范围大体一致； 步骤A2：将获取的红外图像和可见光图像进行图像配准，即采用对齐策略，调整图像尺寸，实现图像配准； 步骤B包括： 步骤B1：对图像对数据集进行粗处理，得到粗处理后的图像对数据集，粗处理方法包括：增强边缘、锐化、平滑、细节； 步骤B2：对经过粗处理的图像对数据集进行整理处理，整理处理包括：旋转、翻转、亮度调节； 步骤C包括： 步骤C1：构建红外编码器，先得到红外图像信息和神经元权值，进而得到红外图像特征； 步骤C2：构建可见光编码器，输入可见光图像，得到可见光图像特征； 步骤C3：将步骤C1得到的红外图像特征和步骤C2得到的可见光图像特征拼接得到组合特征； 步骤D输入为步骤C3生成的组合特征，步骤D输出为融合后的融合特征； 步骤D包括： 步骤D1：将组合特征切片均分为红外特征图块和可见光特征图块； 步骤D2：生成两个门控网络，计算红外概率特征及可见光概率特征； 步骤D3：根据步骤D2生成的红外概率特征和可见光概率特征，计算得到自适应红外特征与自适应可见光特征； 步骤D4：将自适应红外特征和自适应可见光特征相加； 步骤D5：将步骤C1得到的红外图像特征和步骤C2得到的可见光图像特征下采样池化； 步骤D5包括： 步骤D5-1：将红外图像特征，通过最大池化操作，得到池化红外特征； 步骤D5-2：将可见光图像特征，通过最大池化操作，得到池化可见光特征； 步骤D6：将步骤D4结果、池化红外特征和池化可见光特征按通道维度拼接得到融合特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安邮电大学，其通讯地址为：710121 陕西省西安市长安区西长安街618号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。