买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：郑州铁路职业技术学院

摘要：本发明公开了基于面部多模态深度学习的疲劳驾驶视觉检测系统，包括控制器，控制器电性连接有摄像机和机械模块，控制器设有数据处理模块、数据存储模块、报警模块；控制器通过串口通信的方式连接有摄像机，所述摄像机拍摄驾驶人员的照片传输至控制器，通过数据处理模块对拍摄的图像帧进行处理，提取出来自面部视频中的心率及面部行为的疲劳特征，然后融合心率特征及其变异性特征与面部行为特征进行疲劳状态分类判定；面部行为特征包括眼部信号特征、嘴部信号特征、头部信号特征，分别对眼部信号特征、嘴部信号特征、头部信号特征、心率特征进行特征提取，将提取的特征信息进行分类融合，综合判定其疲劳程度。

主权项：1.基于面部多模态深度学习的疲劳驾驶视觉检测系统，其特征在于：包括控制器，控制器电性连接有摄像机和机械模块，控制器设有数据处理模块、数据存储模块、报警模块；控制器通过串口通信的方式连接有摄像机，所述摄像机拍摄驾驶人员的照片传输至控制器，通过数据处理模块对拍摄的图像帧进行处理，提取出来自面部视频中的心率及面部行为的疲劳特征，然后融合心率特征及其变异性特征与面部行为特征进行疲劳状态分类判定；面部行为特征包括眼部信号特征、嘴部信号特征、头部信号特征，分别对眼部信号特征、嘴部信号特征、头部信号特征、ECG心率特征进行特征提取，通过摄像机获取面部行为特征的过程为，首先读取视频的序列，获取图像，进行人脸检测和关键点定位，之后看是否满足根据疲劳值设定的眼睛高度比和嘴巴开合度，若满足设定的话，则对眼部、嘴部、头部的状态进行特征提取，获取特征向量，若未满足设定，则对眼部进行定位计算和收集眼睛长宽比数据，判断系统时间，若时间大于1分钟，则计算闭眼阈值和平均闭眼时间，计算俯仰角的均值，提取眼部、嘴部、头部的状态的信息特征的特征向量，最后与心率及心率变异性参数指标的特征向量进行特征层融合，得出综合疲劳度；面部视频中的心率提取的过程为，获取人脸图像之后，对图像进行预处理，分析图像序列、人脸检测定位、ROI分割，之后采用POS算法提取rPPG信号，然后通过生成对抗网络模型算法生成标准ECG心率信号，并提取心率变异性特征向量，最后与面部行为的特征向量进行特征层融合，得出综合疲劳度；生成对抗网络模型需要利用数据集进行训练；所述机械模块设置在方向盘本体（1）上，通过设置的机械模块检测方向盘本体（1）的运动状态和受压力状态，再结合面部特征信息和心率特征信息综合判定疲劳程度；所述方向盘本体（1）连接有转向杆（2），所述方向盘本体（1）与转向杆（2）连接处设有转向块，所述转向块与方向盘本体（1）固定连接；所述转向杆（2）延伸至固定台（4）内，所述固定台（4）与车体的中控台为一体结构，所述固定台（4）与转动块（3）对应设置，所述固定台（4）靠近转动块（3）的一侧表面均匀设有多个第一压电片（5），多个所述第一压电片（5）呈环形结构分布，所述转动块（3）靠近固定台（4）的一侧设有多个拨动块（6），多个所述拨动块（6）在转动块（3）的侧面呈环形分布，所述拨动块（6）与第一压电片（5）相对应设置，拨动块（6）能够拨动第一压电片（5）振动；所述方向盘本体（1）上设有方向盘套（8），所述方向盘套（8）内部设有第二压电片（9），第二压电片（9）沿方向盘本体（1）截面的周向设置，第二压电片（9）的两端与方向盘套（8）连接；所述第二压电片（9）与方向盘套（8）之间设有多组第二弹性件，所述第二弹性件包括第二套管，所述第二套管的一端与第二压电片（9）连接，所述第二套管的另一端设有第二导杆（12），所述第二导杆（12）与第二管体（11）间隙滑动连接，所述第二导杆的另一端与所述方向盘套（8）连接。

全文数据：

权利要求：

百度查询： 郑州铁路职业技术学院 基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统