买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖北工业大学

摘要：本发明公开一种多模态情感分析方法、装置、电子设备及存储介质，涉及情感分析技术领域。方法包括：对视频中的语音、文本和人物图像进行特征提取，得到单模态语音特征、单模态文本特征和单模态人物特征；基于三种单模态特征中的任意两种特征，对另一种特征进行特征增强，得到单模态语音增强特征、单模态文本增强特征和单模态人物增强特征；将单模态文本增强特征分别与单模态语音增强特征和单模态人物增强特征进行特征融合，得到第一跨模态特征和第二跨模态特征；将第一跨模态特征、第二跨模态特征和单模态文本增强特征输入多模态情感分析模型进行情感分析，得到情感分析结果。本发明公开的方法、装置、电子设备及存储介质可提高情感分析准确性。

主权项：1.一种多模态情感分析方法，其特征在于，包括：分别对视频中的语音、文本和人物图像进行特征提取，得到单模态语音特征、单模态文本特征和单模态人物特征；基于所述单模态语音特征、所述单模态文本特征以及所述单模态人物特征中的任意两种特征，对所述任意两种特征外的另一种特征进行特征增强，得到单模态语音增强特征、单模态文本增强特征和单模态人物增强特征；将所述单模态文本增强特征分别与所述单模态语音增强特征和所述单模态人物增强特征进行特征融合，得到第一跨模态特征和第二跨模态特征；将所述第一跨模态特征、所述第二跨模态特征和所述单模态文本增强特征输入多模态情感分析模型进行情感分析，得到多模态情感分析结果；所述基于所述单模态语音特征、所述单模态文本特征以及所述单模态人物特征中的任意两种特征，对所述任意两种特征外的另一种特征进行特征增强，得到单模态语音增强特征、单模态文本增强特征和单模态人物增强特征，包括：将所述单模态语音特征、所述单模态文本特征以及所述单模态人物特征分别输入LSTM网络中，得到所述单模态语音特征对应的隐藏层输出、所述单模态文本特征对应的隐藏层输出以及所述单模态人物特征对应的隐藏层输出；利用所述单模态语音特征对应的隐藏层输出和所述单模态文本特征对应的隐藏层输出，对所述单模态人物特征做哈达玛积，得到与所述单模态人物特征对应的单模态人物增强特征；利用所述单模态文本特征对应的隐藏层输出和所述单模态人物特征对应的隐藏层输出，对所述单模态语音特征做哈达玛积，得到与所述单模态语音特征对应的单模态语音增强特征；利用所述单模态语音特征对应的隐藏层输出和所述单模态人物特征对应的隐藏层输出，对所述单模态文本特征做哈达玛积，得到与所述单模态文本特征对应的单模态文本增强特征；所述将所述单模态文本增强特征分别与所述单模态语音增强特征和所述单模态人物增强特征进行特征融合，得到第一跨模态特征和第二跨模态特征，包括：通过跨模态融合模型将所述单模态文本增强特征分别与所述单模态语音增强特征和所述单模态人物增强特征进行特征融合，得到第一跨模态特征和第二跨模态特征；其中，所述跨模态融合模型包括位置编码层、对称注意力机制层、第一残差连接和归一化层、前馈网络处理层和第二残差连接和归一化层；所述位置编码层用于构建所述单模态文本增强特征与所述单模态语音增强特征和所述单模态人物增强特征在序列中的位置关系；所述对称注意力机制层用于将单模态文本增强特征作为查询向量，所述单模态语音增强特征作为键向量和值向量，使用查询向量和键向量进行点积操作，并通过softmax函数获得注意力权重后，将注意力权重与值向量相乘，得到第一对称注意力机制输出信息；所述对称注意力机制层还用于将单模态文本增强特征作为查询向量，所述单模态人物增强特征作为键向量和值向量，使用查询向量和键向量进行点积操作，并通过softmax函数获得注意力权重后，将注意力权重与值向量相乘，得到第二对称注意力机制输出信息；所述第一残差连接和归一化层用于对所述单模态文本增强特征和第一对称注意力机制输出信息进行残差连接和归一化处理，得到第三跨模态特征；所述第一残差连接和归一化层还用于对所述单模态文本增强特征和第二对称注意力机制输出信息进行残差连接和归一化处理，得到第四跨模态特征；所述前馈网络处理层用于通过线性整流函数和线性激活函数分别对所述第三跨模态特征和所述第四跨模态特征进行增强处理，得到与所述第三跨模态特征对应的第五跨模态特征和与所述第四跨模态特征对应的第六跨模态特征；所述第二残差连接和归一化层用于将所述第三跨模态特征与所述第五跨模态特进行残差连接和归一化处理，得到所述第一跨模态特征；所述第二残差连接和归一化层还用于将所述第四跨模态特征与所述第六跨模态特进行残差连接和归一化处理，得到所述第二跨模态特征。

全文数据：

权利要求：

百度查询： 湖北工业大学 多模态情感分析方法、装置、电子设备及存储介质