买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明公开了一种基于非接触式心率检测和眼部特征提取的疲劳驾驶检测方法，该方法包括：实时采集驾驶员面部视频数据，定位截取苹果肌和眼睛部位；对收集的苹果肌和眼部数据进行预处理；使用远程光电容积脉搏波描记法对预处理后苹果肌数据进行特征提取，得到心率特征信号；使用在眼部数据上微调后的CLIP多模态模型提取经预处理后的眼部视觉特征；对心率特征信号和眼部特征矩阵进行融合，得到融合特征，使用融合特征得到司机的疲劳分数，通过阈值判定最终的疲劳驾驶检测结果。本发明通过对驾驶员面部各种特征的有效利用，实现非接触式的疲劳驾驶检测。

主权项：1.一种基于非接触式心率检测和眼部特征提取的疲劳驾驶检测方法，其特征在于，包括如下步骤：S1：实时采集驾驶员面部视频数据，定位截取苹果肌和眼睛部位；S2：对收集的苹果肌和眼睛部位图像进行预处理；S3：使用远程光电容积脉搏波描记法rPPG对S2中预处理后的苹果肌数据进行特征提取，得到心率特征信号；S4：使用在眼部数据上微调后的CLIP多模态模型提取S2中预处理数据的眼部视觉特征；S5：对S3和S4中得到的心率特征信号和眼部特征矩阵进行融合，得到融合特征，使用融合特征得到司机的疲劳分数，通过阈值判定最终的疲劳驾驶检测结果；S1中包括如下步骤：S11：通过车载摄像头以非接触方式获取驾驶员驾驶状态的视频数据；S12：对拍摄得到的驾驶员驾驶状态视频进行自动抽帧；S13：利用dlib库的人脸检测器对视频帧中的驾驶人员进行人脸检测，定位并截取下驾驶员的面部苹果肌和眼睛部位；S2中包括如下步骤：S21：使用快速傅里叶变换FFT对截取的面部苹果肌的抽样帧进行预处理，将连续抽样帧之间苹果肌血管颜色变化的信号转换为频率信号，FFT计算公式如下： 其中，xn是时域中的第n个样本值，即血管颜色变化的信号强度，N是时域中的样本总数；是傅里叶变换的核心复指数函数，其中e是自然对数的底数，j是虚数单位，表示相位角；Xk是频域中的第k个频域分量的复数幅度；因此能够分析和识别血管颜色变化信号中的频率成分；S22：使用伽马矫正算法对截取的眼睛部位的抽样帧进行光照矫正，以减小由于太阳光照过强和夜间开车光线不佳导致对于检测结果的消极影响，所使用的伽马矫正算法公式如下：fI＝Iγ其中，I是输入的像素值，范围在0-1之间，代表从图像截取的眼睛部位的抽样帧中的原始光照强度；fI表示伽马矫正的过程；γ是伽马矫正系数；S3中包括如下步骤：使用远程光电容积脉搏波描记法提取S21中频率信号的rPPG信号，并转换为心率信号特征；S4中包括如下步骤：S41：根据S22收集驾驶员处于驾驶状态时的眼部图像数据，包括正常驾驶和处于不同程度疲劳驾驶种类，将眼部图像及其对应的驾驶状态类型相对应构造数据集L,V，其中，V是眼部图像数据，L是对应的语言描述；L,V共包含两个类别：正常、疲劳；S42：使用S41中的眼部图像数据集L,V对CLIP多模态模型进行微调优化，首先使用ChatGPT对数据集中的语言描述L进行提示扩充得到提供眼部图像数据对应驾驶状态更丰富的语言描述；扩充过程是使用提示模板来完成，模板如下：“Whatarethecharacteristicsofadriver'seyeswhendrivingunder{Class}？”通过将{Class}替换为S41中具体的类别来生成更详细的描述以达成扩充的目的；随后使用表示的语言描述和V表示的眼部图像对CLIP的部分层进行微调；微调后的模型适应了人类眼部特征分布，微调过程以文本和图像特征相似度匹配的对比学习方式进行优化： 其中，py＝i|v是在给定向量v的情况下，随机变量y等于类别i的概率；cosv,l是向量v和向量l之间的余弦相似度；τ是温度参数，τ越低输出分布越倾向于具有更高概率的类别，反之输出分布越平滑；是归一化常数，确保所有py＝i|v的和为1；S43：将S2预处理过的眼部图像输入到微调后的CLIP多模态模型中提取驾驶员的眼部特征矩阵；S5中包括如下步骤：S51：对S3和S4中得到的心率信号特征和眼部特征矩阵进行融合，具体的，首先对心率信号特征和眼部特征矩阵分别应用主成分分析降维至同一维度，然后通过一定的比例融合这两种特征，得到同时包含驾驶员生理指标和视觉特征的融合特征；S52：使用多层感知机MLP模型对融合特征进行疲劳分数的预测，并根据阈值θ作为判断驾驶员是否存在疲劳驾驶的判断标准；MLP通过学习得到，使用S51获得的融合特征对MLP模型进行训练，将训练后的MLP用于判断驾驶员状态是否属于疲劳驾驶；如果是判断是疲劳驾驶的分数超过阈值θ则认为存在疲劳驾驶，决策过程如下： 其中，R代表最终的决断，z代表疲劳分数，当疲劳分数高于阈值θ时，1代表驾驶员存在疲劳驾驶情况，0代表驾驶员不存在疲劳驾驶情况。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于非接触式心率检测和眼部特征提取的疲劳驾驶检测方法