买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京大学;南京索安电子有限公司

摘要：本发明提供了一种基于微表情的车辆底盘异物排查预警方法和系统，所述方法包括：获取待检车辆底盘图像扫描视频；采集人脸视频；使用微表情检测模块对人脸视频进行检测，获取所述人脸视频中微表情出现的起点时刻、峰值时刻和终点时刻；根据起点时刻和终点时刻，对车辆底盘图像扫描视频进行截取，生成微表情引导的局部空间先验信息；构建底盘异物检测模型，基于微表情引导的局部空间先验信息和微表情峰值时刻，对车辆底盘图像进行检测，得到最终预测结果，并进行预警，本发明使用了多模态信息融合方法，提高了底盘异物检测的精度，同时提高了实时推理速度。

主权项：1.一种基于微表情的车辆底盘异物排查预警方法，其特征在于，包括如下步骤：步骤1，获取车辆底盘图像数据，即待检车辆底盘图像扫描视频；步骤2，对人脸进行摄像采集，生成人脸视频；步骤3，使用微表情检测模块对人脸视频进行检测，获取所述人脸视频中微表情出现的起点时刻、峰值时刻和终点时刻；步骤4，根据起点时刻和终点时刻，对车辆底盘图像扫描视频进行截取，生成微表情引导的局部空间先验信息；步骤5，构建底盘异物检测模型，基于微表情引导的局部空间先验信息和微表情峰值时刻，对车辆底盘图像进行检测，得到最终预测结果，并进行预警，完成所述的基于微表情的车辆底盘异物排查预警；其中，步骤2中所述的生成人脸视频，具体方法包括：播放步骤1中获取的待检车辆底盘图像扫描视频，所述视频时长设置为预设时长，所述扫描视频中按预设方向向展示完整的待检车辆底盘图像，并在预设方向的垂直方向显示提示标记，提示标记随时间推移沿该垂直方向缓慢移动；待检车辆的车主观看整个扫描视频，同时对所述车主进行人脸摄像采集，得到预设时长的人脸视频；其中，步骤5中所述的底盘异物检测模型，包括：空间先验生成模块、空间特征注入模块、多尺度特征提取模块和检测头，其中：空间先验生成模块用于从步骤4中得到的局部空间先验信息中提取空间特征，输出空间先验特征，所述空间先验生成模块使用深度残差网络ResNet构成；空间特征注入模块用于将空间先验特征注入ViT模型，即将ViT模型中嵌入层输出的图像输入特征作为查询，空间先验特征作为键值，进行可变形交叉注意力计算，输出新的图像特征；多尺度特征提取模块用于根据空间特征从ViT模型中提取多尺度特征，即将空间先验特征作为查询，将ViT模型中编码层输出的编码输出特征作为键值，进行交叉注意力计算，输出多尺度特征；检测头用于从多尺度特征中检测异物的2D包围框和类别，生成预测结果，所述检测头使用实例分割网络MaskR-CNN。

全文数据：

权利要求：

百度查询： 南京大学 南京索安电子有限公司 一种基于微表情的车辆底盘异物排查预警方法和系统