买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明提供一种基于多模态信息融合的情感识别方法、装置及电子设备，通过预先训练情感识别模型，能够在获得待处理的目标信息后，识别目标信息中的至少两个单模态信息，并通过预处理输入至情感识别模型中的第一模型中，由第一模型进行特征提取获得目标信息对应的至少两个单模态特征，进而输入至情感识别模型中的第二模型中，由第二模型进行基于全局和局部注意力机制的特征融合获得目标信息对应的情感识别结果。对此，本发明能够综合考虑多模态的信息，融合多模态信息间内在的关联性，得到更准确的情感识别结果。

主权项：1.一种基于多模态信息融合的情感识别方法，其特征在于，所述方法包括：识别待处理的目标信息中的至少两个单模态信息，并调取预先训练得到的情感识别模型，所述情感识别模型包括用于特征提取的第一模型和用于特征融合的第二模型；对所述目标信息中的至少两个单模态信息分别进行预处理，并输入至所述第一模型中，通过所述第一模型对所输入的单模态信息进行特征提取，以获得所述目标信息对应的至少两个单模态特征；将所述目标信息对应的至少两个单模态特征输入至所述第二模型中，通过所述第二模型对所输入的单模态特征进行基于全局和局部注意力机制的特征融合，以获得所述目标信息对应的情感识别结果；其中，所述情感识别模型的训练过程，包括：识别用于本次训练的多模态信息中的至少两个单模态信息，所述多模态信息具有对应的情感标注结果；对所述多模态信息中的至少两个单模态信息分别进行预处理，并输入至第一基础模型中，通过所述第一基础模型对所输入的单模态信息进行特征提取，以获得所述多模态信息对应的至少两个单模态特征；从所述多模态信息对应的至少两个单模态特征中确定用于全局注意力计算和局部注意力计算的多个单模态特征对，每个单模态特征对由两个单模态特征所组成；将所述多个单模态特征对输入至第二基础模型中，通过所述第二基础模型中的注意力机制对所述多个单模态特征对分别进行全局注意力计算和局部注意力计算、并将全局注意力计算所获得的全局特征和局部注意力计算所获得的局部特征进行拼接得到联合情感特征，通过所述第二基础模型中的全连接层对所述联合情感特征进行划分得到所述多模态信息对应的情感预测结果；基于所述多模态信息对应的情感预测结果和情感标注结果，对所述第一基础模型和所述第二基础模型的模型参数进行迭代调整，直到所述多模态信息对应的情感预测结果趋近于其情感标注结果时，将所述第一基础模型作为所述第一模型、将所述第二基础模型作为所述第二模型，输出由所述第一模型和所述第二模型组成的所述情感识别模型。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于多模态信息融合的情感识别方法、装置及电子设备