买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：昆明学院

摘要：本发明属于图像处理技术领域，公开了一种基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法。本发明基于改进的yolov8模型搭建了报废汽车有色金属目标检测模型，在模型中搭建了具有孪生网络结构的主干网络，并在主干网络中引入注意力机制，形成注意力孪生网络，同时融合了可见光及红外热成像两种通道的多源图像输入，在检测报废汽车混合物中的有色金属时，能够更准确地聚焦于具有有色金属特征的区域，对于形状不规则或与其他材料混合在一起的有色金属部件，注意力孪生网络通过学习其独特的特征模式，利于提高对目标的识别精度。本发明利于提高报废汽车有色金属破碎物回收的准确率和效率。

主权项：1.基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，包括如下步骤：步骤1.首先获取利用可见光相机和红外热成像仪对报废汽车有色金属破碎物进行图像采集得到的可见光图像以及红外热成像图像，可见光图像以及红外热成像图像在采集时在时间和空间上一一对应组成相应的图片对，并进行图像预处理和标注操作，得到训练数据集；步骤2.搭建基于改进的YOLOV8模型架构的报废汽车有色金属目标检测模型，其中报废汽车有色金属目标检测模型包括两个主干网络、一个颈部网络以及一个检测头网络；定义两个主干网络分别为主干网络一以及主干网络二，主干网络一和主干网络二采用孪生网络结构，同时在两个主干网络中引入注意力机制SEAttention，形成注意力孪生网络；其中，主干网络一用于接收可见光图像输入，并对输入的可见光图像进行特征提取；主干网络二用于接收红外热成像图像，并对输入的红外热成像图像进行特征提取；颈部网络用于接收主干网络一以及主干网络二的输出特征，并对两个主干网络的输出特征进行融合，并通过检测头网络实现报废汽车有色金属目标检测；在原有YOLOV8模型的基础上还进行了如下改进，以得到改进的YOLOV8模型；利用YOLOV9模型中的RepNCSPELAN4模块替换原有YOLOV8模型的浅层次网络中的c2f模块，在浅层次网络进行特征提取和融合，以获取可编程梯度信息；在原有YOLOV8模型的深层次网络中的c2f模块上添加SEAttention，从而得到C2f_SE模块，以加强特征表示和引入注意力机制来增强目标检测的能力；将在原有YOLOV8模型的部分卷积块替换为Adown下采样模块，以减少特征图空间维度；将原有YOLOV8模型的sppf模块替换为SPPELAN模块；采用ASFF改进检测头网络，自适应地融合不同尺度的特征；步骤3.基于训练数据集对改进的YOLOV8模型进行训练，得到训练好的报废汽车有色金属目标检测模型，并利用模型对报废汽车有色金属进行目标检测，得到检测结果。

全文数据：

权利要求：

百度查询： 昆明学院 基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法