买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院自动化研究所

摘要：本发明涉及情感类型诊断技术领域，提供一种特征融合的情感识别方法、装置、电子设备及存储介质，其中方法包括：获取待检测目标的面部表情图像以及雷达原始数据；对面部表情图像进行情绪识别，确定待检测目标的面部情绪特征；对雷达原始数据进行特征提取，确定待检测目标的生理情绪特征；将生理情绪特征以及所述面部情绪特征进行拼接，并对拼接特征进行情感识别分类，确定待检测目标的情感类型。本发明提供的特征融合的情感识别方法、装置、电子设备及存储介质，通过融合视觉信号和生理信号的多模态情绪识别，有效提高了识别结果的可靠性以及识别准确率，同时两种信号互为补充，拓展了识别的场景范围。

主权项：1.一种特征融合的情感识别方法，其特征在于，所述方法包括：基于图像采集设备，获取待检测目标的面部表情图像，并基于调频连续波雷达，获取所述待检测目标的雷达原始数据；对所述面部表情图像进行情绪识别，确定所述待检测目标的面部情绪特征；对雷达原始数据进行特征提取，提取所述待检测目标的生理信号特征，并对所述生理信号特征进行情绪识别，确定所述待检测目标的生理情绪特征，所述生理信号特征包括呼吸特征以及心跳特征；将所述生理情绪特征以及所述面部情绪特征进行拼接，得到拼接特征，并对所述拼接特征进行情感识别分类，确定所述待检测目标的情感类型；所述对雷达原始数据进行特征提取，提取所述待检测目标的生理信号特征，包括：基于所述雷达原始数据，提取所述待检测目标的呼吸波形以及所述待检测目标的心跳波形；对所述呼吸波形进行峰值检测，确定所述待检测目标的呼吸频率以及所述待检测目标的呼吸间隔；对所述呼吸频率以及所述呼吸间隔进行特征提取，确定所述待检测目标的呼吸特征；对所述心跳波形进行心跳间隔时域特征提取，确定所述待检测目标的心跳特征；将所述呼吸特征以及所述心跳特征作为所述生理信号特征；所述基于所述雷达原始数据，提取所述待检测目标的呼吸波形以及所述待检测目标的心跳波形，包括：对所述雷达原始数据进行相位信号提取，提取所述待检测目标的呼吸相位信号以及所述待检测目标的心跳相位信号；基于巴特沃斯低通滤波器以及预设幅度阈值，对所述呼吸相位信号进行过滤，得到所述待检测目标的呼吸波形；对所述雷达原始数据进行二阶差分处理，获取所述待检测目标胸壁运动的加速度信号，并基于所述加速度信号，对所述心跳相位信号中的心跳差分信号进行增强；基于心跳提取模板，对增强后的心跳相位信号进行分割，得到所述待检测目标的心跳波形。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 特征融合的情感识别方法、装置、电子设备及存储介质