买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了一种面向社交网络短视频的多模态情感分析方法及系统，包括获取社交网络短视频的视频模态信息、文本模态信息和音频模态信息；根据所述视频模态信息、文本模态信息、音频模态信息和预先训练的面向社交网络短视频的多模态情感分析模型，获得社交网络短视频的情感分析结果。本发明通过构造损失函数，学习各模态间的共性特征，利用交叉注意力模块得到经过辅助学习的各模态的特征，减小弱模态表达，增大强模态表达，提高了模态间情感极性分析的准确度，解决了现有技术中对社交网络短视频的多模态情感分析单一，忽略模态间情感极性矛盾，不能有效提取共性特征，导致情感分析不准确的问题。

主权项：1.一种面向社交网络短视频的多模态情感分析方法，其特征在于，包括：获取社交网络短视频的视频模态信息、文本模态信息和音频模态信息；根据所述视频模态信息、文本模态信息、音频模态信息和预先训练的面向社交网络短视频的多模态情感分析模型，获得社交网络短视频的情感分析结果；其中，在所述面向社交网络短视频的多模态情感分析模型中，根据所述视频模态信息、文本模态信息和音频模态信息，分别进行特征提取，获得视频单模态特征、文本单模态特征和音频单模态特征；根据所述文本单模态特征、所述视频单模态特征和所述音频单模态特征，进行共性特征学习，获得第一共性特征、第二共性特征和第三共性特征；其中，第一共性特征是视频单模态特征和音频单模态特征的共性特征，第二共性特征是文本单模态特征和音频单模态特征的共性特征，第三共性特征是视频单模态特征和文本单模态特征的共性特征；根据所述文本单模态特征以及所述第一共性特征、所述视频单模态特征以及所述第二共性特征和所述音频单模态特征以及所述第三共性特征，经过交叉注意力模块，获得文本跨模态特征、视频跨模态特征和音频跨模态特征；将所述文本跨模态特征、视频跨模态特征和音频跨模态特征，映射到同一维度，获得社交网络短视频的情感分析结果；其中，获得第一共性特征、获得第二共性特征和获得第三共性特征的方法一致，所述方法包括：计算两个单模态特征之间的EMD距离值；采用所述EMD距离作为损失函数，对共性特征学习阶段进行监督，在网络反向传播的过程中以所述损失函数最小为目标，得到两个单模态特征的共性特征；其中，获得文本跨模态特征、视频跨模态特征和音频跨模态特征的方法一致，所述方法包括：以单模态特征作为主要特征，共性特征作为辅助特征，输入到交叉注意力模块进行学习，增强单模态特征，获得跨模态特征；所述跨模态特征表示为： ；式中，x3*表示经过第一个单模态特征x1和第二个单模态特征x2辅助的第三个单模态特征的跨模态特征，x3表示第三个单模态特征的特征，表示输入第三个单模态特征的维度，Q3表示第三个单模态特征的Query向量，表示计算第三个单模态特征的head时Q3的权重矩阵，K1、K2分别表示第一个单模态特征和第二个单模态特征的Key向量，表示计算第一个单模态特征的head时K1时的权重矩阵，表示计算第二个单模态特征的head时K2时的权重矩阵，V1、V2别表示第一个单模态特征和第二个单模态特征的Value向量，T表示矩阵转置，C3,1表示第三个单模态特征和第一个单模态特征的共性特征，C3,2第三个单模态特征和第二个单模态特征的共性特征，softmax是归一化指数函数。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种面向社交网络短视频的多模态情感分析方法及系统