买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：本发明公开了一种基于多模态的远程情感识别方法，涉及语音处理和图像处理技术领域，包括：采集远程人员的实时视频模态数据和实时音频模态数据；对实时视频模态数据和实时音频模态数据预处理获得视频帧序列和原始音频数据；将视频帧序列和原始音频数据分别输入视频特征提取网络和音频特征提取网络，获得视频情感特征和音频情感特征；将视频情感特征和音频情感特征输入注意力计算网络获得音视频跨模态情感特征和视音频跨模态情感特征；将音视频跨模态情感特征和视音频跨模态情感特征融合为双模融合情感特征；将双模融合情感特征输入决策网络获得实时情感分类结果。本发明具有提高情感识别准确率的特点。

主权项：1.一种基于多模态的远程情感识别方法，其特征在于，包括如下步骤：步骤一、采集远程人员的实时视频模态数据和实时音频模态数据；步骤二、对所述实时视频模态数据和实时音频模态数据进行预处理获得视频帧序列和原始音频数据；步骤三、将所述视频帧序列输入视频特征提取网络，获得视频情感特征；将所述原始音频数据输入音频特征提取网络，获得音频情感特征；步骤四、将所述视频情感特征和音频情感特征输入注意力计算网络进行跨模态计算，得到音视频跨模态情感特征和视音频跨模态情感特征；其中，所述注意力计算网络包括音频自注意力计算模块、视频自注意力计算模块、音视频跨模态情感特征计算模块和视音频跨模态情感特征计算模块；所述音频自注意力计算模块满足： ；式中，为音频模态，为音频自注意力情感特征，为音频模态输入的查询的集合，为音频模态输入的键的集合，为音频模态输入的值的集合，为音频情感特征，为音频模态输入的查询与键的维度；所述视频自注意力计算模块满足： ；式中，为视频模态，为视频自注意力情感特征，为视频模态输入的查询的集合，为视频模态输入的键的集合，为视频模态输入的值的集合，为视频情感特征，为视频模态输入的查询与键的维度；所述音视频跨模态情感特征计算模块满足： 式中，为音视频跨模态情感特征，为音频自注意力情感特征；所述视音频跨模态情感特征计算模块满足： 式中，为视音频跨模态情感特征，为视频自注意力情感特征；步骤五、将音视频跨模态情感特征和视音频跨模态情感特征融合为双模融合情感特征；步骤六、将双模融合情感特征输入决策网络进行情感分类识别得到实时情感分类结果；其中，所述实时情感分类结果为愤怒、厌恶、喜悦、惊讶、恐惧、悲伤或中立。

全文数据：

权利要求：

百度查询： 吉林大学 一种基于多模态的远程情感识别方法