重庆邮电大学徐昌彪获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉重庆邮电大学申请的专利一种基于机器学习和混合特征的疲劳检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119763076B 。
龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411703156.6,技术领域涉及:G06V20/59;该发明授权一种基于机器学习和混合特征的疲劳检测方法是由徐昌彪;黄文昊;刘浇;李浪设计研发完成,并于2024-11-26向国家知识产权局提交的专利申请。
本一种基于机器学习和混合特征的疲劳检测方法在说明书摘要公布了:本发明涉及一种基于机器学习和混合特征的疲劳检测方法,属于车辆安全技术领域。本发明通过训练目标检测算法YOLOv8实现人脸识别,基于MediaPipe框架进行人脸关键点检测,基于受试者独立方法完成数据的标准化处理后,通过多种机器学习建模得到疲劳检测分类模型。本发明还设计了自校正特征提取模块、预处理模块,通过将分类模型集成构建疲劳状态分类模块,形成驾驶员实时疲劳检测系统,实现对驾驶员疲劳状态的自动化检测与分类。本发明引入视线集中度、眼动幅度和头部运动等共二十种面部特征,实现针对未知驾驶员进行疲劳检测时具备良好的泛化能力;使用集成学习构建驾驶员疲劳检测系统,实现了轻量化的实时驾驶员疲劳检测系统。
本发明授权一种基于机器学习和混合特征的疲劳检测方法在权利要求书中公布了:1.一种基于机器学习和混合特征的疲劳检测方法,其特征在于:包括以下步骤: S1:数据收集:获取UTA-RLDD数据集,并处理为不重叠的视频片段; S2:面部检测:训练目标检测算法YOLOv8实现人脸识别; S3:数据集构建:基于MediaPipe框架进行人脸关键点检测,使用关键点完成特征计算,筛选并标注以构建数据集; S4:数据预处理:基于受试者独立方法LOPO完成连续型数据的标准化处理,对输入多层感知机中的连续型数据完成归一化处理,并滤除其中存在异常值的数据; S5:模型训练:将上述处理好的实验数据输入到构建好的模型,包括随机森林RF、多层感知机MLP和极限梯度提升XGBoost,通过自主学习训练得到疲劳检测分类模型,并通过评价指标评估模型性能,以得到最优模型; S6:系统搭建:设计自校正特征提取模块、预处理模块,通过集成学习中的投票法构建疲劳状态分类模块,形成驾驶员实时疲劳检测系统,实现对驾驶员疲劳状态的自动化检测与分类; 所述S3包括以下步骤: S3.1:利用MediaPipe框架从人脸区域提取的478个关键点的二维坐标完成特征计算;这些特征可分为四大类:眼部特征、头部特征、嘴部特征和视线特征,共计20个特征,并将这些特征作为特征向量表示为x,x∈Rm,m=20; 非传统特征中,眼动幅度Amplitudei、开眼波速Velocityi和眼睛闭合时间在时间窗口内所占比例Perclos是通过眼睛纵横比EAR结合时间窗口计算得到的: 式1定义眼动幅度Amplitudei的计算方法: 其中,EARStart为眨眼过程开始时的EAR数值,EAREnd为眨眼过程结束时的EAR数值,而EARPeak则为整个眨眼过程中处于最低谷的EAR数值; 式2定义开眼波速Velocityi的计算方法: 其中,TimeOpen为眨眼从闭合到睁开所需的时间; 式3定义眼睛闭合时间在时间窗口内所占比例Perclos的计算方法: 其中,TimeClose为时间窗口内眼睛闭合的时间,TimeLength为时间窗口的长度,采用的时间窗口长度为30s,使用的数据帧率为30FPS,即TimeLength的数值为900; 非传统特征中,头部俯仰角平均值PA、头部活跃度HA和单位时间内头部低垂时长HD是通过头部姿态的俯仰角α、偏航角β、旋转角γ结合时间窗口计算得到的: 式4定义头部俯仰角平均值PA的计算方法,特征诠释了时间窗口内受试者的头部低垂程度的数值: 其中,αi表示头部俯仰角,i表示帧号; 头部活跃度HA表示时间窗口内头部朝向变化的频繁程度,头部姿态朝向由式5定义: 其中RollT、PitchT、YawT分别是旋转角、俯仰角、偏航角在正常朝向时的值,由自校正模块获取;定义θy>PitchT+15°为抬头,θy<PitchT-15°为低头;θz>YawT+15°是左转头,θz<YawT-15°是右转头;从而完成头部姿态的估计,准确地检测是否发生点头和转头;当头部朝向改变时,头部活跃度HA的数值将会增加; 单位时间内头部低垂时长HD由式6定义: 其中,HeadDown表示时间窗口内头部由其他朝向转变为低头后保持的时间; 非传统特征中,视线活跃度指标GA、注视中心时间是通过对眼球进行姿态估计得到的: 视线姿态GazeDir对眼球进行姿态估计得到的欧拉角组:旋转角Pα、俯仰角Pβ、偏航角Pγ组成,式7定义视线姿态GazeDir的计算方法: GazeDir=RovtvecEOR·HOR=Pα,Pβ,Pγ7 其中,Rotvec是由scipy提供的函数,用于将旋转矩阵转换为罗德里格斯旋转向量的形式;EOR表示眼球的旋转角度,是通过人脸关键点算法计算得到的眼球在二维图像中的左边界和右边界之间的相对旋转角度;HOR表示表示头部的旋转矩阵; 视线的具体朝向由式8定义: 其中,PuT表示由自校正模块获取的受试者在正常注视画面中心时的瞳孔偏航角Pβ在校正时间窗口内的平均值;当Pβ>PuT+0.5时视线偏向左侧;当Pβ<PuT-0.5时视线偏向右侧;在其他情况下,视线被定义为注视中心,当时间窗口内视线看向中心时,引入特征:注视中心时间,会在视线处于注视中心状态时增加; 为细化视线特征的提取,引入特征:视线活跃度指标GA,当Pβ出现一定幅度的变化时,即使没有达到特定的姿态变化条件,GA也会随之增加; S3.3:标注方法结合真实生活困倦数据集UTA-RLDD所提供的原始标注以及对卡罗林斯卡嗜睡量表KSS具备了解,分别来自电子信息、通信工程专业的四位学生完成,在独立环境中观看视频并添加标注,工作期间不允许相互交流以确保标注的独立性;当标注与原始标注存在偏差时,该片段数据将被排除在外,不再参加后续实验; S3.4:构建的数据集包含清醒状态1126例、轻度疲劳1084例、重度疲劳1166例,分布均衡; 所述S4包括以下步骤: S4.1:采用受试者独立方法LOPO进行标准化,标准化的对象是数据集中的连续型特征;通过每位受试者在清醒状态下所提取的特征数值,计算得到均值和标准差,并对其所对应受试者提供的数据完成标准化处理,具体的计算方法如式9所示: 其中,表示标准化后特征值,Fn,m表示原始特征值,μn,m与σn,m分别表示特征n和受试者m清醒状态下所采集的连续型数据的均值和标准差; 所述S6包括以下步骤: S6.1:自校正特征提取模块设计:检测开始后的一段时间为校正窗口,这个窗口内将所提取眼睛纵横比EAR、嘴部纵横比MAR、眼球俯仰角Pβ和头部姿态正常朝向下的旋转角RollT、俯仰角PitchT、偏航角YawT作为校准数据用于设置眨眼阈值、打哈欠阈值、头部姿态校正以及视线校正,校正窗口内所采集的数据不输入模型,其默认窗口长度为三十秒; 眨眼阈值、打哈欠阈值的校正方法如式10所示: 其中,AEAR是眨眼判断阈值,是校正窗口内EAR在每次眨眼中所取得的最大值,是校正窗口内EAR在每次眨眼中所取得的最小值,N是校正窗口内眨眼次数,CEAR为EAR调整因子,数值为0.2;AMAR是打哈欠判断阈值,是校正窗口内MAR在每次眨眼中所取得的最大值,是校正窗口内MAR在每次眨眼中所取得的最小值,CMAR为MAR调整因子,数值为0.7; 头部姿态校正方法如式5所定义、视线校正方法如式8所定义; S6.2:预处理模块:在完成自校正后,基于校正期采集的数据计算清醒状态下前13的连续型特征的均值和标准差,作为后续数据标准化的参数;通过使用该参数对后续采集的数据进行标准化,以确保模型运行的稳定性和准确性,预处理方法如式9所定义; S6.3:集成模型分类模块:将训练好的最优模型保存为持久化文件,使用时加载模型文件,对标准化后的特征进行分类;通过集成学习方法,对多个模型的分类结果通过加权形成最终预测结果,其中随机森林RF、多层感知机MLP和极限梯度提升XGBoost的权重比例为2:1:3; S6.4:将自校正特征提取模块、预处理模块、集成模型分类模块结合目标检测模型、人脸关键点检测模型组合构建驾驶员实时疲劳检测系统。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆邮电大学,其通讯地址为:400065 重庆市南岸区黄桷垭崇文路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励