买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：复旦大学

摘要：本发明涉及一种基于情境感知的多模态情感识别方法和系统，系统包括多模态信息采集单元、基于多模态行为表现的情感处理单元、基于场景上下文的情感分析单元、基于代理人群体交互的情感分析单元、基于代理人和情境交互的情感分析单元、基于自适应规划的特征融合单元、基于离散情感的识别单元、基于连续情感的预测单元以及显示模块，多模态数据一部分来源于面部表情、步态和手势信息；另一部分来自情境中的场景上下文、代理人群体互动上下文以及场景与代理人互动的上下文信息。与现有技术相比，本发明有效的解决了真实场景中情感识别效率低下，现有算法情感识别准确率不达标，识别算法鲁棒性和泛化能力受外界因素干扰的问题。

主权项：1.一种基于情境感知的多模态情感识别方法，其特征在于，包括以下步骤：多模态信息采集步骤：采集用于情感识别的视频和真实世界图像，所述视频中包括待进行情感识别的人类主体和其它代理人；基于多模态行为表现的情感处理步骤：根据所述视频，提取面部表情特征、面部界标点、人体姿态和人体手势的特征向量，并通过初始特征级联的方式生成外在行为表现模态向量；基于场景上下文的情感分析步骤：通过为所述真实世界图像和视频中各视频帧中的人类主体添加蒙版，获取场景图像，然后进行场景情感语义的特征提取，得到第一情感特征向量；基于代理人群体交互的情感分析步骤：在所述真实世界图像和视频中各视频帧中分别提取人类主体和其它代理人信息，然后提取初始表征特征，将各初始表征特征作为情感节点馈送入图注意力网络中，构建情感关系图；根据该情感关系图，计算不同的其它代理人对人类主体的情感影响强度和程度，通过情感相似系数判断其它代理人交互产生的情感特征向量的权重大小，并与初始表征特征进行加权平均操作，得到第二情感特征向量；基于代理人和情境交互的情感分析步骤：通过为所述真实世界图像和视频中各视频帧中的其它代理人添加蒙版，获取场景图像，提取场景的初始特征；根据其它代理人的初始表征特征，建立基本特征图，对所述场景的初始特征和基本特征图进行特征聚合，得到第三情感特征向量；特征融合步骤：对所述外在行为表现模态向量、第一情感特征向量、第二情感特征向量和第三情感特征向量进行特征融合，得到融合特征向量；情感识别步骤：根据所述融合特征向量进行情感识别。

全文数据：

权利要求：

百度查询： 复旦大学 一种基于情境感知的多模态情感识别方法和系统