买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明涉及一种基于双模态信息增强多头注意力的视频情感分析方法，包括：对视频进行预处理；从预处理后的数据中获取单模态原始特征；基于单模态原始特征，进一步获取单模态深层特征，其中，单模态深层特征包括文本深层特征、音频深层特征和视频深层特征；根据单模态深层特征，提取出单模态间的交互信息，即得到双模态信息；从不同特征子空间计算双模态注意力，获取双模态间的交互信息；将双模态信息与双模态间交互信息进行融合及分类预测，得到对应的情感分析预测结果。与现有技术相比，本发明在提取单模态特征后，利用其获取模态间的交互信息，再进一步得到不同交互信息的独立性和一致性信息，从而进行有效的特征融合和准确的情感预测。

主权项：1.一种基于双模态信息增强多头注意力的视频情感分析方法，其特征在于，包括以下步骤：S1、对视频进行预处理：从视频中分离出音频，并对音频进行转录，得到相应文本，之后对视频进行分帧处理、对视频帧进行人脸检测与对齐处理；S2、从预处理后的数据中获取单模态原始特征：采用BERT模型从文本中获取句子向量，并利用第三方工具提取出音频特征和视频特征；S3、基于单模态原始特征，进一步获取单模态深层特征，其中，单模态深层特征包括文本深层特征、音频深层特征和视频深层特征；S4、根据单模态深层特征，提取出单模态间的交互信息，即得到双模态信息；S5、从不同特征子空间计算双模态注意力，获取双模态间的交互信息；S6、将双模态信息与双模态间交互信息进行融合及分类预测，得到对应的情感分析预测结果；步骤S5具体包括以下步骤：S51、使用两层相同维度的全连接层，以获得双模态信息交互特征，其中，两层相同维度的全连接层包括第一层独立全连接层和第二层共享全连接层；S52、结合多头注意力机制，首先将双模态信息交互特征拼接得到多模态特征D，以作为键X和值Y的输入；之后分别将各双模态信息交互特征作为查询Q的输入，并分别经过线性变换得到对应的双模态特征，与键X和值Y对应的多模态特征也经过相应的线性变换得到对应的双模态特征；再将各双模态特征与多模态特征D中所有双模态特征进行交互，并使用softmax函数对交互结果进行归一化处理，以计算得到多模态特征中各双模态特征的注意力；最后将每个注意头计算出的双模态特征的注意力进行拼接和线性层变换，以得到分配了注意力的双模态特征，即为双模态间交互信息。

全文数据：

权利要求：

百度查询： 上海大学 一种基于双模态信息增强多头注意力的视频情感分析方法