买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明涉及一种基于单模态辅助监督和YOLOv5的RGB‑红外多源图像目标检测方法，设计了一种单模态辅助监督的RGB‑红外多源YOLOv5图像目标检测模型MSAS‑YOLOv5。该模型使用兼顾了速度和精度的YOLOv5作为基础方法，高效地提取RGB可见光和热红外图像的多层级特征。设计了单模态辅助监督的方法，将语义分割辅助任务和单模态检测辅助任务结合。为可见光和热红外模态设置了独立的目标检测预测支路，并使用独立的可见光热红外模态标注对两个模态的预测分别进行监督。精度方面，本发明的MSAS‑YOLOv5在KAIST数据集上达到5.89％的平均对数漏检率，对于目标检测物体有更小的漏检程度更大的监督。FPS达到了24.39，比主流多源目标检测方法有更快的速度。

主权项：1.一种基于单模态辅助监督和YOLOv5的RGB-红外多源图像目标检测方法，其特征在于包括四个部分：骨干网络部分、瓶颈部分、分割部分和检测部分；所述的骨干网络部分用于提取可见光和热红外图像各自的卷积特征图；所述的瓶颈部分用于将可见光和热红外模态的特征图进行自上而下和自下而上的组合，获得用于融合模态、可见光模态以及热红外模态的各层级特征；所述的分割部分将可见光和热红外模态的特征图通过卷积层预测语义分割，作为一种辅助监督任务；所述的检测部分在可见光和热红外模态的各层级特征上进行目标检测，将融合、可见光和热红外模态的预测结果进行决策级融合；并对可见光和热红外模态的预测用各自模态下的标注进行监督，用于提供单模态预测的辅助信息；具体包括如下步骤：步骤1：将可见光和热红外图像Irgb和Iir输入骨干网络部分进行特征提取，可见光和热红外图像Irgb和Iir依次经过可见光卷积模块和热红外卷积模块其中i∈{1,2,3,4,5}，得到多个特征对和其中为可见光图像Irgb在可见光卷积模块后提取到的特征，为热红外图像Iir在热红外卷积模块后提取到的特征；在和后，将特征和进行通道拼接，送入空间金字塔池化模块中，得到处理后的多源特征步骤2：将步骤1中可见光卷积模块和热红外卷积模块输出的特征图和进行通道拼接，然后通过分割卷积模块，得到语义分割预测结果；步骤3：将步骤1中骨干网络部分的特征以及空间金字塔池化模块得到的特征送入瓶颈部分；为了实现单模态独立预测，瓶颈部分设置了融合模态瓶颈、热红外模态瓶颈、可见光模态瓶颈三组结构，分别提取融合模态、热红外模态、可见光模态的三对多尺度特征；其中融合模态瓶颈结构以以及为输入，将和进行通道拼接作为多源特征处理，输出多尺度特征热红外模态瓶颈结构则以以及作为输入，输出热红外多尺度特征可见光模态瓶颈结构则以以及为输入，输出可见光多尺度特征步骤4：使用检测模块在步骤3三个模态瓶颈部分得到的三对多尺度特征上进行目标检测，得到各个模态、各个尺度下的物体预测；对于融合、热红外、可见光三个模态的预测，使用决策级融合将同一尺度下的预测进行融合；最终融合得到的三个尺度的检测结果再通过非极大值抑制后处理，得到输入多源图像的目标检测预测输出。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于单模态辅助监督和YOLOv5的RGB-红外多源图像目标检测方法