买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥中聚源智能科技有限公司

摘要：本发明公开了一种基于令牌学习的人脸视频心率估计系统及方法，该方法包括：1输入人脸视频，对视频每一帧进行面部关键点检测；2使用所述面部关键点获取面部感兴趣区域，并通过色彩空间转换和像素平均池化操作提取人脸视频的多尺度时空图；3构建基于令牌学习的神经网络模型对所述多尺度时空图进行学习，并使用训练好的所述基于令牌学习的神经网络模型预测人脸视频的rPPG信号；4、对所述人脸视频的rPPG信号进行峰值点检测，并计算出相应的平均心率值。本发明使用基于令牌学习的神经网络模型实现人脸视频心率估计，从而提高了人脸视频心率估计的准确性和鲁棒性。

主权项：1.一种基于令牌学习的人脸视频心率估计系统，其特征在于，包括：面部关键点检测模块、特征提取模块、rPPG信号预测模块和心率计算模块；所述面部关键点检测模块采用基于深度学习的人脸检测器OpenFace检测人脸视频中每一帧的面部关键点位置；所述特征提取模块通过所述面部关键点位置选取面部感兴趣区域，再对所述面部感兴趣区域进行色彩空间转换后，再采用像素平均池化操作对转换后的面部感兴趣区域进行去噪处理，从而生成人脸视频的多尺度时空图；所述rPPG信号预测模块基于所述人脸视频的多尺度时空图，采用深度学习的方法搭建并训练基于令牌学习的神经网络模型，并使用训练好的基于令牌学习的神经网络模型对待预测的多尺度时空图进行转换，得到相应的rPPG信号；所述rPPG信号预测模块是按如下过程进行神经网络模型的训练：步骤a：构建基于令牌学习的神经网络模型，包括：令牌提取器、Transformer编码器和rPPG信号预测器，其中，所述令牌提取器由线性映射层、额外的可学习令牌和位置编码嵌入层构成，所述Transformer编码器包含层结构，每一层均由第一层标准化层、多头注意力层、第一残差连接层、第二层标准化层、第一多层感知机和第二残差连接层顺序构成，所述rPPG信号预测器由第三层标准化层和第二多层感知机构成；步骤b：所述人脸视频的多尺度时空图输入所述令牌提取器中，先将所述人脸视频的多尺度时空图切分成不同的图像块，然后，所述图像块经过线性映射层的处理后得到令牌，所述令牌和额外的可学习令牌输入位置编码嵌入层中进行处理，从而获取令牌特征；所述令牌特征依次经过Transformer编码器的层结构处理后，由最后一层结构输出的令牌特征，并从中获取rPPG信号的特征表示；所述rPPG信号的特征表示依次经过所述rPPG信号预测器的第三层标准化和第二多层感知机的处理后，得到所述多尺度时空图对应的rPPG信号；步骤c：利用负皮尔逊相关系数计算所述多尺度时空图对应的rPPG信号和标签PPG信号之间的误差，并作为所述基于令牌学习的神经网络模型的损失函数，再采用Adam优化器更新神经网络模型的参数，并在损失函数停止下降时停止训练，从而得到训练好的基于令牌学习的神经网络模型；所述心率计算模块对所述rPPG信号进行峰值点检测以获得心跳的频率，从而输出所述人脸视频的平均心率值。

全文数据：

权利要求：

百度查询： 合肥中聚源智能科技有限公司 一种基于令牌学习的人脸视频心率估计系统及方法