买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京计算机技术及应用研究所

摘要：本发明涉及一种基于头部和可见区域线索的遮挡行人检测方法，属于辅助驾驶领域。本发明利用头部、可见区域、全身信息改进复杂道路场景中的遮挡行人检测性能，提出锐化特征响应区域推荐网络SRPN同时检测行人全身和头部RoIs，对于全身RoIs，在原有的全身检测分支FastRCNN前增加一个可见区域引导注意力VGA模块用于增强可见区域特征同时抑制遮挡区域噪声，增加了一个平行的头部级联检测分支，基于头部RoIs逐级的拓展感知域检测严重遮挡行人。大量的实验结果表明：本专利提出的方法能显著提高遮挡行人的检测精度。

主权项：1.一种基于头部和可见区域线索的遮挡行人检测方法，其特征在于，该方法包括如下步骤：主干网络采用残差网络ResNet50和特征金字塔网络FPN，主干网络输出多尺度特征金字塔；多尺度特征金字塔经过锐化特征响应区域推荐网络SRPN，输出行人全身RoIs和头部RoIs；全身RoIs经池化获得的特征进入全身检测分支，可见区域引导注意力模块VGA基于此特征估计全身矩形框中的行人可见区域概率图，然后采用点乘的方式对原特征进行优化，抑制遮挡物体噪声特征同时增强行人可见区域特征后输入给FastRCNN进行检测，输出全身检测结果；头部RoIs经池化获得的池化特征则输入给头部级联检测分支，该分支包括头部级联检测网络HRCNN，该网络分阶段的逐步从头部检测框得到可见区域检测框，最后得到行人全身检测框；对全身检测分支和头部级联检测分支输出的全身检测结果使用Soft-NMS进行后处理；其中，所述锐化特征响应区域推荐网络SRPN包括两个相同的生成模块用于输出全身和头部RoIs；生成模块包含一个3×3×256卷积层，三个平行的1×1×256卷积层分别输出目标中心概率图、尺度估计图、中心偏移图；基于上述输出的中心得分、尺度和中心偏移通过RoIs转换转换为目标外接矩形框，经过NMS后处理之后获得最终的感兴趣区域，输出全身RoIs或头部RoIs；所述SRPN在FPN输出的P3到P7五个尺寸的特征金字塔上分别进行RoIs提取；所述可见区域引导注意力模块VGA的实现方式为：RoI池化特征记为Fr∈[C×Hr×Wr]，其中C是通道数，Hr和Wr是特征分辨率；Fr输入VGA后通过四个C×3×3卷积层和一个1×1卷积层对注意力特征进行编码，最后经过逐像素的Sigmoid函数后获得归一化的可见区域注意力模板，记为AV∈[1×Hr×Wr]；通过将Fr与AV逐像素的相乘，即可获得过滤后的特征FVGAi,:,:＝Fri,:,:·AV，该过滤后的特征输入给FastRCNN进行检测；所述头部级联检测网络HRCNN的计算流程分为三个阶段：第一阶段，B0是由SRPN生成的头部RoIs，基于B0在多尺度特征金字塔上通过RoI池化提取RoIs特征后输入给头部检测模块Dh，Dh输出头部分类得分Ch和头部矩形框位置回归结果Bh；第二阶段是可见区域检测模块Dv，将Bh转换为全身矩形框Bf0，基于Bf0在多尺度特征金字塔上通过第二阶段RoI池化的提取全身特征后，通过可见区域检测模块Dv基于全身特征则可以成功检测可见区域矩形框Bv以及其置信度得分Cv；第三阶段，仍然采用Bf0作为RoI在多尺度特征金字塔上通过第三阶段RoI池化提取全身特征，Bv对Bf0提取的特征进行过滤后输入全身检测模块Df，最后Df输出全身的矩形框Bf和全身的置信度得分Cf。

全文数据：

权利要求：

百度查询： 北京计算机技术及应用研究所 一种基于头部和可见区域线索的遮挡行人检测方法