买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种融合时间信息的改进YOLOV3交通视频显著目标检测方法，利用有经验驾驶员的HardAttention获取交通场景的显著目标图，再建立融合时间信息的改进YOLOV3并进行训练优化，训练完成后进行显著目标检测。本发明的方法首次提出融合HardAttention信息和时间信息的交通场景的显著目标检测，融合时间信息的改进YOLOV3相对现有全目标检测模型不仅通过融合HardAttention信息特征只关注与驾驶安全相关的重要目标，还通过融合当前检测帧前10帧内的时间信息，极大地扩展了时间信息范围，通过融合更多低级特征的尺度预测，在黑暗场景和突然出现的超车等场景中，更准确有效地检测出对驾驶环境重要的目标；相对现有显著性预测模型能够专注于显著性区域，准确检测显著性区域内的目标和位置。

主权项：1.一种融合时间信息的改进YOLOV3交通视频显著目标检测方法，具体步骤如下：S1、利用有经验驾驶员的HardAttention获取交通场景的显著目标图；S2、建立融合时间信息的改进YOLOV3并进行训练优化，训练完成后进行显著目标检测；所述步骤S1具体如下：S11、通过行为学实验得到含有HardAttention信息的图片；初始眼动数据库提供数据，记录的眼动数据能够模拟HardAttention，将原始交通场景视频的每一帧图像提取出来，然后将通过行为学实验获得的眼动数据一一映射到相对应的交通场景原图上面，每个注视点的位置都与原图的空间位置相对应，得到含有HardAttention信息的图片；S12、参考含有HardAttention信息的图片对交通场景原图进行目标标注，得到显著目标图；使用被标注帧图片前后5帧的图片作为标注参考，保证不会漏标对驾驶环境重要的目标，标注的原则有两条：1从Ft-5到Ft+5帧含有HardAttention信息的交通场景图中至少有5帧具有眼动数据点；其中，Ft表示当前检测帧，t表示帧数；2当目标在Ft-5到Ft+5帧含有HardAttention信息的交通场景图中的一帧中至少有5个眼动数据点；当目标满足以上两个条件之一时，将其标记，并最终获得显著目标图；所述步骤S2中，融合时间信息的改进YOLOV3包括HardAttention信息和时间信息融合模块、ResNets特征提取模块和融合不同阶段特征预测模块；所述融合时间信息的改进YOLOV3中，HardAttention信息和时间信息融合模块包括HardAttention信息特征增强模块和时间信息特征提取模块，具体如下：所述HardAttention信息特征增强模块结构包括：一组160×160尺度的残差块与一组CBAM模块；160×160尺度的残差块包含1个残差单元，CBAM包含通道注意力机制层再串联卷积核大小为[7，7]的空间注意力机制层得到特征Tcb；所述时间信息特征提取模块结构包括：4组卷积块与一个卷积长短期记忆网络；每组卷积块具体包括：一个3×3卷积、一个批处理规范化单元、一个LeakyReLU单元；4组卷积块的卷积核分别为8、16、32和64，最后一组卷积块的3×3卷积步长为2；卷积长短期记忆网络包括3个隐藏层，隐藏层的节点数依次为32、32、64。

全文数据：

权利要求：

百度查询： 电子科技大学 电子科技大学长三角研究院(湖州) 一种融合时间信息的改进YOLOV3交通视频显著目标检测方法