买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：齐鲁工业大学(山东省科学院);山东省人工智能研究院

摘要：一种基于rPPG信号的远程心率检测方法，涉及非接触式信号检测领域，在ROI定义阶段，对人脸区域进行定位与跟踪，利用先验知识，直接选择人脸中包含rPPG信号最丰富的区域作为ROI，忽略复杂环境噪声信息和与rPPG信号不相关信息的影响，利用通道、空间宽度和空间高度三个维度的注意力权重对特征图进行更新，有效滤除由于运动和光照变化产生的噪声的干扰，使模型在复杂环境中仍能准确提取有效rPPG信号信息。使用Transformer编码器学习各帧之间的特征关系，使模型充分注意人脸视频各帧间的时空特征关系和rPPG信号全局时空特征相关性，从而预测出人脸视频中微弱的rPPG信号，进一步提高了预测的准确性和鲁棒性。

主权项：1.一种基于rPPG信号的远程心率检测方法，其特征在于，包括如下步骤：a获取n个含有真实rPPG信号信息的人脸视频；b对n个含有真实rPPG信号信息的人脸视频进行预处理操作，得到含有标签信息的e个新的视频样本数据集V＝{V1,V2,...,Vi,...,Ve}，其中Vi为第i个预处理后的视频，i∈{1,2,...,e}，Vi＝{Fi1,Fi2,...,Fit,...,FiT}，Fit为第i个预处理后的视频Vi的第t帧图片，t∈{1,2,...,T}，T为第i个预处理后的视频Vi中帧数，第i个预处理后的视频Vi的标签信息为与其帧数长度一致的rPPG信号Yi＝{Yi1,Yi2,...,Yit,...,YiT}，Yit为第t帧图片Fit的rPPG信号值；c选定一矩形区域作为ROI区域，使用ROI区域对第t帧图片Fit进行剪裁；d对剪裁后的第t帧图片Fit进行数据压缩操作，T个压缩后的图片构成剪裁后的第i个视频Vi，Vi∈RC×T×H×W；e构建神经网络模型CS_TrNet，神经网络模型CS_TrNet由特征提取模块、Transformer模型的编码模块、rPPG信号聚合模块构成；f将剪裁后的第t帧图片Fit输入到神经网络模型CS_TrNet的特征提取模块中，输出得到特征向量Pit_69；g将剪裁后的第i个视频Vi所有T帧的特征向量依次排列成矩阵Pi，Pi＝[Pi1_69,Pi2_69,...,Pit_69,...,PiT_69]Γ，Γ为矩阵转置；h将特征向量Pit_69输入到Transformer模型的编码模块中，输出得到融合了各帧不同权重向量表示的全局时空特征向量Pit_69′，得到全局时空特征向量矩阵Pi′＝[Pi1_69′,Pi2_69′,...,Pit_69′,...,PiT_69′]Γ；i将全局时空特征向量Pit_69′输入到rPPG信号聚合模块中，输出得到第t帧图像的rPPG信号值Yit_pre，所有T帧的rPPG信号值构成长度为T的rPPG信号Yi_pre，Yi_pre＝{Yi1_pre,Yi2_pre,...,Yii_pre,...,YiT_pre}；j使用Adam优化器利用损失函数Loss训练神经网络模型CS_TrNet，得到优化后的神经网络模型CS_TrNet；k将剪裁后的第t帧图片Fit输入到优化后的神经网络模型CS_TrNet中，重复步骤f至步骤i，得到rPPG信号Yi_pre′；l对rPPG信号Yi_pre′使用AMPD自动多尺度峰值查找算法进行峰值点检测，得到rPPG信号Yi_pre′中的若干峰值点，通过公式计算得到每分钟的心率值Y，式中X为i个预处理后的视频Vi的每秒帧数，每两个相邻的峰值点之间的帧数为两个相邻峰值的距离，s为各个相邻峰值距离的平均值。

全文数据：

权利要求：

百度查询： 齐鲁工业大学(山东省科学院) 山东省人工智能研究院 一种基于rPPG信号的远程心率检测方法