买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：淮阴工学院

摘要：本发明公开了一种驾驶员异常驾驶状态检测方法，通过疲劳驾驶异常状态检测模块识别人脸疲劳特征包括眼部纵横比、嘴部开口角度及低头状态，并且融合轨迹异常中的车道偏离角度判断驾驶员是否处于疲劳的异常驾驶状态；通过情绪异常驾驶状态检测模块识别驾驶员语音状态结合驾驶员的头部的偏转角度判断驾驶员是否处于情绪异常驾驶状态。本发明驾驶员异常驾驶状态检测方法分别对驾驶员疲劳驾驶的异常状态和驾驶员情绪异常的驾驶状态进行检测，解决了现有驾驶员异常驾驶状态检测方法中存在漏检、检查滞后及干扰正常驾驶的问题，相较于传统检测方法节省了成本，提高了驾驶员异常驾驶状态检测的效率。

主权项：1.一种驾驶员异常驾驶状态检测方法，其特征在于：包括以下步骤：步骤1，获取驾驶员面部视频数据、视频画面及驾驶员语音数据；步骤2，检测步骤1中视频画面中的驾驶员面部的位置，并记录面部68个关键点的坐标；步骤3，建立驾驶员疲劳的异常状态检测模块，获取面部疲劳异常状态特征，结合车辆轨迹的车道偏离角度判断驾驶员是否存在疲劳驾驶异常状态；过程为：步骤3.1，从步骤2得到的面部68个关键点的坐标中选择左眼和右眼对应的关键点，计算眼部闭合状态；过程为：通过眼部纵横比判断驾驶员的闭眼状态，即通过组成眼睛的关键点坐标之间的距离比例来检测人是否发生了闭眼动作；当EAR眼部纵横比≦0.2，判断眼部发生闭合，根据PERCLOS计算在设定时间内眼睛闭合时间T占总时间Ttotal1的百分比FPERCLOS判断驾驶员的疲劳状态； 根据眼睛闭合时间所占总时间百分比，设置眼部疲劳状态权重为： 当weye＝1时表示存在疲劳状态，当weye＝0时表示不存在疲劳状态；步骤3.2，通过计算嘴部开口角度判断嘴部开口状态；在步骤2中人脸关键点中，根据嘴部开口两端的关键点60的坐标X60,Y60，64的坐标X64,Y64建立直线方程：Y64-Y60X-X64-X60Y+X64Y60-X64Y60＝0设Y64-Y60＝A1，-X64-X60＝B1,X64Y60-X64Y60＝C1，则A1X+B1Y+C1＝0嘴部开口上端关键点62X62,Y62，则开口时上端与开口一端关键点60所在的直线方程为：Y62-Y60X-X62-X60Y+X62Y60-X62Y60＝0设Y62-Y60＝A2,-X62-X60＝B2，X62Y60-X62Y60＝C2,则A2X+B2Y+C2＝0上述两条直线的夹角θ1为 设嘴部开口角度：为说话状态；为打哈欠状态；设在Ttotal2时间内嘴部闭合的时间为T1，说话的时间为T2，打哈欠的时间为T3，则总时间Ttotal2：Ttotal2＝T1+T2+T3打哈欠时间比为： 嘴部疲劳状态的权重为： 其中wmouth＝1表示存在疲劳异常状态，wmouth＝0表示不存在疲劳异常状态；步骤3.3，将点头或低头作为疲劳表征参数，计算点头或低头时摄像头拍摄的照片中双眼中点到下巴的距离；过程为：根据步骤2获得的脸部68个关键点，选取37，38，40，41处左眼上下眼睑的关键点计算左眼中点坐标，选取43，44，46，47处右眼上下眼睑的关键点计算右眼中点的坐标，选取7，9处下巴关键点，计算下巴两个关键点的直线方程；37，38，40，41关键点的坐标为：X37,Y37，X38,Y38，X40,Y40，X41,Y4143，44，46，47关键点的坐标为：X43,Y43，X44,Y44，X46,Y46，X47,Y47根据左眼上下眼睑的四个关键点和右眼上下眼睑的四个关键点计算左眼中点和右眼中点的坐标为： 得左眼中点坐标为Xleft,Yleft，右眼中点坐标为Xright,Yright；下巴关键点7，9的坐标为：X7,Y7，X9,Y9根据下巴关键点计算获得直线方程：Y9-Y7X-X9-X7Y+X9Y7-X7Y9＝0设Y9-Y7＝A3，-X9-X7＝B3，X9Y7-X7Y9＝C3，则直线方程为：A3X+B3Y+C3＝0因此左眼中点Xleft,Yleft到下巴关键点所在直线的距离dleft为： 右眼中点Xright,Yright到下巴关键点所在直线的距离dright为： 双眼到下巴的总距离dtotal为：dtotal＝dleft+dright当俯仰角为0时，双眼到下巴的总距离最大为dmax，则距离比为： 当Fd＜60％时认定为司机处于低头状态，设在Ttotal3时间内低头的时间为Tdown，则低头频率比为： 其中：Tdown为低头时间，Ttotal3为检测时间段的总时长，Fdown为低头时间所占时间的百分比；根据驾驶员低头时间比来设置头部疲劳权重： 当Fdown≥50％时，判断司机处于疲劳的异常状态，当Fdown＜50％判断驾驶员未处于疲劳的异常状态；步骤3.4，根据驾驶员眼睛、嘴巴、头部在疲劳驾驶判断中的权重设置权值，进行加权计算，并据此判断驾驶员的疲劳状态；过程为：总权重：Wdriver＝n0weye+n1wmouth+n2whead其中：nii＝0,1,2,...表示对应的权值，weye表示眼部疲劳权重，wmouth表示嘴部疲劳权重，whead表示头部疲劳权重；根据疲劳驾驶检测判断精度，设n0＝0.4，n1＝0.3，n2＝0.3；根据总权重判断驾驶员的疲劳状态Dstate： 即当权重≥0.6判断驾驶员存在疲劳异常状态，当权重0.6判断驾驶员未处于疲劳异常状态；步骤3.5，将车辆轨迹视频数据输入到轨迹异常的车道偏离检测模块；过程为：获取车道线方程：AX+BY+C＝0计算车辆的偏离角度，根据车辆的偏离角度判断驾驶员是否存疲劳异常的危险情况。根据车道坐标系，获得车道线起点坐标XLstart,YLstart，XRstart,YRstart和终点坐标Xend,Yend，根据车道线起点和终点的坐标，建立车道线方程： 根据左侧车道线方程，计算左侧车道线与坐标系X轴的夹角α为： 根据右侧车道线方程，计算右侧车道线与坐标系X轴的夹角β为： 得右侧车道线与中间车道线的夹角γ为： 则车辆行驶方向与中间车道线的偏航角θ2为： 偏航角θ2关于夹角α,β的数学模型为： 其中α左侧车道线与坐标系X轴的夹角，β为右侧车道线与坐标系X轴的夹角，γ为右侧车道线与中间车道线的夹角，θ2为车辆行驶方向与中间车道线的偏航角；当判断车辆处于车道偏离状态；设在Ttotal4时间内，车道偏离的时间为Tdeparture，则车道偏离时间比为： 根据车道偏离时间比，设置驾驶员的疲劳状态权重为： 其中wdeparture＝1表示驾驶员处于疲劳异常状态，wdeparture＝0表示驾驶员未处于疲劳异常状态；步骤3.6，根据人脸特征的权重和车道偏离的权重，判断驾驶员是否存在疲劳驾驶情况；过程为：根据驾驶员面部特征和车辆车道偏离特征在疲劳驾驶判断中的权重得到总权重为：W＝nface·Dstate+ndeparture·wdeparture其中nface为面部特征的疲劳值，ndeparture为车道偏离特征的疲劳值，设定nface＝0.6，ndeparture＝0.4，则驾驶员疲劳异常状态FState为： 根据总权重判断驾驶员的疲劳异常状态；步骤4，建立驾驶员情绪异常驾驶状态检测模块，通过语音识别判断驾驶员的情绪状态，并结合驾驶员头部运动姿态变化判断驾驶员是否存在不良情绪驾驶的异常状态；过程为：步骤4.1，对车内驾驶员进行情感语音识别；步骤4.2，对驾驶员头部姿态进行估计；过程为：步骤4.2.1，从步骤2获得的驾驶员面部68个关键点中选取下巴、鼻子、眼部和嘴部共6个关键点；步骤4.2.2，进行3D人脸模型匹配，得出步骤4.2.1中6个关键点在3D头部刚体模型中对应的世界坐标系坐标；步骤4.2.3，求解3D点和对应2D点的转换关系，结合2D关键点、3D关键点、内参矩阵、畸变参数，求得旋转向量与平移向量，将旋转向量转换为旋转矩阵R： 最后根据旋转矩阵求解欧拉角，即根据旋转矩阵得头部运动变化时各个方向上的偏转角，即俯仰角pitch，偏航角yaw，滚转角roll为： pitch为头部的俯仰角，yaw为头部的偏航角，roll为头部的滚转角；当|pitch|≥25°，|yaw|≥15°或|roll|≥25°时判断驾驶员头部偏转角度发生了变化；根据角度变化时间比判断驾驶员的状态；设定在检测总时间为Ttotal5，驾驶员角度变化时间为Tturn,则角度变化时间比Fturn为： 根据驾驶员头部角度变化时间比计算头部角度异常权重wturn为： 当Fturn≥20％判断驾驶员处于异常驾驶状态，当Fturn＜20％判断驾驶员未处于异常驾驶状态；Wturn＝1表示驾驶员处于异常驾驶状态，Wturn＝0表示驾驶员未处于异常驾驶状态。步骤4.3，识别驾驶员语音得到的驾驶员情绪状态，以及驾驶员头部运动状态变化判断驾驶员是否存在异常驾驶状态：Wemotion＝n0wpronunciation+n1wturn其中：nii＝0,1,2,...表示对应的权值，设定n0＝0.6，n1＝0.4,则驾驶员的情绪异常驾驶状态EState为： 根据总权重判断驾驶员是否存在情绪异常驾驶状态。

全文数据：

权利要求：

百度查询： 淮阴工学院 一种驾驶员异常驾驶状态检测方法