买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中师范大学

申请日：2022-06-20

公开（公告）日：2022-07-22

公开（公告）号：CN114781465A

专利技术分类：

专利摘要：本发明提供一种基于rPPG的非接触式疲劳检测系统及方法，该系统及方法采用多线程同步通讯，针对实时检测需求，基于pythonthreading多线程模块，实现rPPG信号的实时采集与处理以及疲劳状态的同步检测。其中，第一个线程，实现rPPG数据的实时捕获、保存与拼接；第二个线程，实现rPPG数据的实时分析与疲劳检测。在皮肤检测和LUV颜色空间转换结合的基础上，实现rPPG原始信号提取，消除人脸内外环境噪声的干扰；其次，通过自适应多级滤波提高信噪比，通过多维度融合CNN模型实现呼吸和心率的高精度检测；最后，在呼吸和心率多通道数据融合的基础上，实现高精度的疲劳分类。

专利权项：1.一种基于rPPG的非接触式疲劳检测方法，其特征在于，包括如下步骤：确定人脸的图像视频；对所述图像视频中的每一帧图像进行人脸感兴趣区域跟踪，提取人脸感兴趣区域的皮肤二值化图像；在剔除眼睛和嘴巴区域的基础上，将每一帧图像转化为LUV色彩空间图像；将所述皮肤二值化图像与LUV色彩空间图像进行与运算，得到只包含人脸皮肤信息的LUV色彩空间图像；确定每一帧只包含人脸皮肤信息的LUV色彩空间图像的有效像素点均值，将所述图像视频对应的所述有效像素点均值曲线作为人脸远程光电容积描记术rPPG原始信号；采用结合呼吸和心率的中心频率设置带宽的第一小波滤波器对所述rPPG原始信号进行滤波，以粗粒度剔除噪声，初步重构呼吸和心率波形，所述第一小波滤波器的带宽大于预设阈值；基于初步重构的呼吸和心率波形计算人体平均呼吸和心跳间隔，以初步估计呼吸和心率频率，并采用基于初步估计的呼吸和心跳频率设置带宽的第二小波滤波器对初步重构的呼吸和心率波形进行滤波，以细粒度剔除噪声，得到重构的呼吸和心率波形，所述第二小波滤波器的带宽小于第一小波滤波器的带宽；将所述重构的呼吸和心率波形的一维数据输入到训练好的一维卷积神经网络，以再次估计呼吸和心率的频率；通过连续小波变换CWT将所述重构的呼吸和心率波形的一维数据转化为二维CWT时频图，将二维CWT时频图输入到训练好的二维卷积神经网络，以进一步估计呼吸和心率的频率；将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，确定最终的呼吸和心率频率；基于两次重构的呼吸和心率波形提取对应的呼吸和心率的时域特征、频域特征以及非线性特征，并将提取出来的特征和最终确定的呼吸和心率频率拼接后输入到训练好的分类器中，对人体的疲劳状态进行分类，检测人体的疲劳状态。

百度查询： 华中师范大学 一种基于rPPG的非接触式疲劳检测系统及方法