买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：齐鲁工业大学(山东省科学院);山东省人工智能研究院

摘要：一种基于rPPG信号的远程心率检测方法，涉及非接触式信号检测领域，在ROI定义阶段，对人脸区域进行定位与跟踪，利用先验知识，直接选择人脸中包含rPPG信号最丰富的区域作为ROI，忽略复杂环境噪声信息和与rPPG信号不相关信息的影响，利用通道、空间宽度和空间高度三个维度的注意力权重对特征图进行更新，有效滤除由于运动和光照变化产生的噪声的干扰，使模型在复杂环境中仍能准确提取有效rPPG信号信息。使用Transformer编码器学习各帧之间的特征关系，使模型充分注意人脸视频各帧间的时空特征关系和rPPG信号全局时空特征相关性，从而预测出人脸视频中微弱的rPPG信号，进一步提高了预测的准确性和鲁棒性。

主权项：1.一种基于rPPG信号的远程心率检测方法，其特征在于，包括如下步骤：a获取n个含有真实rPPG信号信息的人脸视频；b对n个含有真实rPPG信号信息的人脸视频进行预处理操作，得到含有标签信息的e个新的视频样本数据集V＝{V1,V2,...,Vi,...,Ve}，其中Vi为第i个预处理后的视频，i∈{1,2,...,e}，Vi＝{Fi1,Fi2,…,Fit,…,FiT}，Fit为第i个预处理后的视频Vi的第t帧图片，t∈{1,2,…,T}，T为第i个预处理后的视频Vi中帧数，第i个预处理后的视频Vi的标签信息为与其帧数长度一致的rPPG信号Yi＝{Yi1,Yi2,…,Yit,…,YiT}，Yit为第t帧图片Fit的rPPG信号值；c选定一矩形区域作为ROI区域，使用ROI区域对第t帧图片Fit进行剪裁；d对剪裁后的第t帧图片Fit进行数据压缩操作，T个压缩后的图片构成剪裁后的第i个视频Vi，Vi∈RC×T×H×W；e构建神经网络模型CS_TrNet，神经网络模型CS_TrNet由特征提取模块、Transformer模型的编码模块、rPPG信号聚合模块构成；f将剪裁后的第t帧图片Fit输入到神经网络模型CS_TrNet的特征提取模块中，输出得到特征向量Pit_69；g将剪裁后的第i个视频Vi所有T帧的特征向量依次排列成矩阵Pi，Pi＝[Pi1_69,Pi2_69,…,Pit_69,...,PiT_69]Γ，Γ为矩阵转置；h将特征向量Pit_69输入到Transformer模型的编码模块中，输出得到融合了各帧不同权重向量表示的全局时空特征向量Pit_69′，得到全局时空特征向量矩阵Pi′＝[Pi1_69′,Pi2_69′,…,Pit_69′,…,PiT_69′]Γ；i将全局时空特征向量Pit_69′输入到rPPG信号聚合模块中，输出得到第t帧图像的rPPG信号值Yit_pre，所有T帧的rPPG信号值构成长度为T的rPPG信号Yi_pre，Yi_pre＝{Yi1_pre,Yi2_pre,…,Yii_pre,...,YiT_pre}；j使用Adam优化器利用损失函数Loss训练神经网络模型CS_TrNet，得到优化后的神经网络模型CS_TrNet；k将剪裁后的第t帧图片Fit输入到优化后的神经网络模型CS_TrNet中，重复步骤f至步骤i，得到rPPG信号Yi_pre′；l对rPPG信号Yi_pre′使用AMPD自动多尺度峰值查找算法进行峰值点检测，得到rPPG信号Yi_pre′中的若干峰值点，通过公式计算得到每分钟的心率值Y，式中X为i个预处理后的视频Vi的每秒帧数，每两个相邻的峰值点之间的帧数为两个相邻峰值的距离，s为各个相邻峰值距离的平均值；步骤f包括如下步骤：f-1神经网络模型CS_TrNet的特征提取模块由第一卷积块、第一N_CSAM块、第二卷积块、第二N_CSAM块、第三卷积块、第三N_CSAM块、第四卷积块、第四N_CSAM块、全局平均池化层构成，第一卷积块、第二卷积块、第三卷积块、第四卷积块均依次由二维卷积Conv2d层、最大池化层、批处理归一化BN层、Relu激活函数层构成，第一N_CSAM块、第二N_CSAM块、第三N_CSAM块、第四N_CSAM块均由通道注意力层N_CAM和空间注意力层N_SAM构成，通道注意力层N_CAM均由全局空间池化层、1D卷积层、Sigmoid激活函数层构成，全局空间池化层由全局平均池化层、全局最大池化层构成，空间注意力层N_SAM均由全局通道池化层、第一中心差分卷积层、第二中心差分卷积层、Sigmoid激活函数层构成，全局通道池化层由全局平均池化层、全局最大池化层构成；f-2将剪裁后的第t帧图片Fit输入到第一卷积块中，输出得到压缩特征图Conv1_fit_1；f-3将压缩特征图Conv1_fit_1输入到第一N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图C_AP_fit_2，将压缩特征图Conv1_fit_1输入到第一N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图C_MP_fit_3，将特征图C_AP_fit_2与可训练参数α相乘得到不同权重表示的特征图C_AP_fit_4，将特征图C_MP_fit_3与可训练参数β相乘得到不同权重表示的特征图C_MP_fit_5，将特征图C_AP_fit_2与特征图C_AP_fit_3逐元素相加后与超参数θ相乘得到特征图C_AM_fit_6，将特征图C_AP_fit_4、特征图C_MP_fit_5、特征图C_AM_fit_6逐元素相加操作，得到融合全局空间池化的特征图C_AM_fit_7，将特征图C_AM_fit_7依次输入到第一N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图C_M_fit_8，将注意力权重系数图C_M_fit_8与压缩特征图Conv1_fit_1进行逐元素相乘操作后，得到通道注意力特征图C_fit_9，通道注意力特征图C_fit_9输入到第一N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图S_AP_fit_10，将通道注意力特征图C_fit_9输入到第一N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图S_MP_fit_11，将特征图S_AP_fit_10输入到第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_AP_fit_12，将特征图S_MP_fit_11输入到第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_MP_fit_13，将特征图S_AP_fit_12和特征图S_MP_fit_13逐元素相加，得到特征图S_AM_fit_14，将特征图S_AM_fit_14输入到第一N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图S_AM_fit_15，将特征图S_AM_fit_15输入到第一N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图S_M_fit_16，将注意力权重系数图S_M_fit_16与通道注意力特征图C_fit_9进行逐元素相乘后得到空间注意力特征图S_fit_17；f-4将空间注意力特征图S_fit_17输入到第二卷积块中，输出得到压缩特征图Conv2_fit_18；f-5将压缩特征图Conv2_fit_18输入到第二N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图C_AP_fit_19，将压缩特征图Conv2_fit_18输入到第二N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图C_MP_fit_20，将特征图C_AP_fit_19与可训练参数α相乘得到不同权重表示的特征图C_AP_fit_21，将特征图C_MP_fit_20与可训练参数β相乘得到不同权重表示的特征图C_MP_fit_22，将特征图C_AP_fit_19与特征图C_MP_fit_20逐元素相加后与超参数θ相乘得到特征图C_AM_fit_23，将特征图C_AP_fit_21、特征图C_MP_fit_22、特征图C_AM_fit_23逐元素相加操作，得到融合全局空间池化的特征图C_AM_fit_24，将特征图C_AM_fit_24依次输入到第二N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图C_M_fit_25，将注意力权重系数图C_M_fit_25与压缩特征图Conv2_fit_18进行逐元素相乘操作后，得到通道注意力特征图C_fit_26，通道注意力特征图C_fit_26输入到第二N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图S_AP_fit_27，将通道注意力特征图C_fit_26输入到第二N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图S_MP_fit_28，将特征图S_AP_fit_27输入到第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_AP_fit_29，将特征图S_MP_fit_28输入到第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_MP_fit_30，将特征图S_AP_fit_29和特征图S_MP_fit_30逐元素相加，得到特征图S_AM_fit_31，将特征图S_AM_fit_31输入到第二N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图S_AM_fit_32，将特征图S_AM_fit_32输入到第二N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图S_M_fit_33，将注意力权重系数图S_M_fit_33与通道注意力特征图C_fit_26进行逐元素相乘后得到空间注意力特征图S_fit_34；f-6将空间注意力特征图S_fit_34输入到第三卷积块中，输出得到压缩特征图Conv3_fit_35；f-7将压缩特征图Conv3_fit_35输入到第三N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图C_AP_fit_36，将压缩特征图Conv3_fit_35输入到第三N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图C_MP_fit_37，将特征图C_AP_fit_36与可训练参数α相乘得到不同权重表示的特征图C_AP_fit_38，将特征图C_MP_fit_37与可训练参数β相乘得到不同权重表示的特征图C_MP_fit_39，将特征图C_AP_fit_36与特征图C_MP_fit_37逐元素相加后与超参数θ相乘得到特征图C_AM_fit_40，将特征图C_AP_fit_38、特征图C_MP_fit_39、特征图C_AM_fit_40逐元素相加操作，得到融合全局空间池化的特征图C_AM_fit_41，将特征图C_AM_fit_41依次输入到第三N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图C_M_fit_42，将注意力权重系数图C_M_fit_42与压缩特征图Conv3_fit_35进行逐元素相乘操作后，得到通道注意力特征图C_fit_43，通道注意力特征图C_fit_43输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图S_AP_fit_44，将通道注意力特征图C_fit_43输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图S_MP_fit_45，将特征图S_AP_fit_44输入到第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_AP_fit_46，将特征图S_MP_fit_45输入到第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_MP_fit_47，将特征图S_AP_fit_46和特征图S_MP_fit_47逐元素相加，得到特征图S_AM_fit_48，将特征图S_AM_fit_48输入到第三N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图S_AM_fit_49，将特征图S_AM_fit_49输入到第三N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图S_M_fit_50，将注意力权重系数图S_M_fit_50与通道注意力特征图C_fit_43进行逐元素相乘后得到空间注意力特征图S_fit_51；f-8将空间注意力特征图S_fit_51输入到第四卷积块中，输出得到压缩特征图Conv4_fit_52；f-9将压缩特征图Conv4_fit_52输入到第四N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图C_AP_fit_53，将压缩特征图Conv4_fit_52输入到第四N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图C_MP_fit_54，将特征图C_AP_fit_53与可训练参数α相乘得到不同权重表示的特征图C_AP_fit_55，将特征图C_MP_fit_54与可训练参数β相乘得到不同权重表示的特征图C_MP_fit_56，将特征图C_AP_fit_53与特征图C_MP_fit_54逐元素相加后与超参数θ相乘得到特征图C_AM_fit_57，将特征图C_AP_fit_55、特征图C_MP_fit_56、特征图C_AM_fit_57逐元素相加操作，得到融合全局空间池化的特征图C_AM_fit_58，将特征图C_AM_fit_58依次输入到第四N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图C_M_fit_59，将注意力权重系数图C_M_fit_59与压缩特征图Conv4_fit_52进行逐元素相乘操作后，得到通道注意力特征图C_fit_60，通道注意力特征图C_fit_60输入到第四N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图S_AP_fit_61，将通道注意力特征图C_fit_60输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图S_MP_fit_62，将特征图S_AP_fit_61输入到第四N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_AP_fit_63，将特征图S_MP_fit_62输入到第四N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_MP_fit_64，将特征图S_AP_fit_63和特征图S_MP_fit_64逐元素相加，得到特征图S_AM_fit_65，将特征图S_AM_fit_65输入到第四N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图S_AM_fit_66，将特征图S_AM_fit_66输入到第四N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图S_M_fit_67，将注意力权重系数图S_M_fit_67与通道注意力特征图C_fit_60进行逐元素相乘后得到空间注意力特征图S_fit_68；f-10将空间注意力特征图S_fit_68输入到特征提取模块的全局平均池化层中，输出一条长度为空间注意力特征图S_fit_68通道数量的特征向量Pit_69。

全文数据：

权利要求：

百度查询： 齐鲁工业大学(山东省科学院) 山东省人工智能研究院 一种基于rPPG信号的远程心率检测方法