买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明提供一种基于不确定性估计的多模态情感分析方法、装置及设备，通过获取多模态情感分析数据集，进行特征提取得到对应的音频特征、视频特征和文本特征；得到表征后的音频特征、视频特征；将得到的表征后的音频特征、视频特征和文本特征分别输入各自的基于迪利克雷分布的不确定性估计模型，得到对应音频、视频和文本模态的迪利克雷分布与不确定性估计；得到情感分类结果与总体不确定性估计；得到训练后的基于迪利克雷分布的不确定性估计模型；模型输出得到的预测结果；本发明识别精度更高，具有更强的鲁棒性和更优的可解释性，且对计算资源要求低，对多模态数据进行分析耗时更短，更符合实际场景的需要。

主权项：1.一种基于不确定性估计的多模态情感分析方法，其特征在于：包括以下步骤，S1、获取多模态情感分析数据集，多模态情感分析数据集中的视频样本包括音频数据、图像数据、文本数据与样本标签，分别对视频样本中的音频数据、图像数据和文本数据进行特征提取，得到对应的音频特征、视频特征和文本特征；S2、将步骤S1所得音频特征和视频特征分别进行上下文表征，得到表征后的音频特征、视频特征；S3、将步骤S2得到的表征后的音频特征、视频特征和文本特征分别输入各自的基于迪利克雷分布的不确定性估计模型，分别得到音频模态的迪利克雷分布的参数、视频模态的迪利克雷分布的参数和文本模态的迪利克雷分布的参数与不确定性估计；具体为，S31、将音频特征、视频特征和文本特征分别输入各自的基于迪利克雷分布的不确定性估计模型，该模型由一层全连接层和一层线性整流激活函数层构成，其中全连接层将步骤S2得到的对应模态上下文表征后的特征映射成证据形式，并输出至线性整流激活函数层，用于保证输出结果为非负值，其输出维度与情感类别个数相等，模型输出即对应模态基于迪利克雷分布的证据表示： 其中，a、v、t分别对应音频模态、视频模态和文本模态，K为情感类别的个数；S32、根据步骤S31所得对应模态基于迪利克雷分布的证据表示，求解出迪利克雷分布利用迪利克雷分布的参数，得到对应的不确定性估计ua、uv、ut；S4、使用D-S证据理论对步骤S3得到的音频模态的迪利克雷分布的参数、视频模态的迪利克雷分布的参数和文本模态的迪利克雷分布的参数进行置信度的求解，再将各模态的置信度和不确定性利用邓普斯特组合规则进行融合，得到情感分类结果与总体不确定性估计；S5、将步骤S4中得到的情感分类结果与步骤S1中获得的多模态情感分析数据集中的样本标签为输入，以交叉熵函数作为损失函数对步骤S3中的基于迪利克雷分布的不确定性估计模型进行训练，得到训练后的基于迪利克雷分布的不确定性估计模型；S6、将需要进行情感分析的视频作为输入，经过步骤S5所得训练后的基于迪利克雷分布的不确定性估计模型，输出得到的预测结果。

全文数据：

权利要求：

百度查询： 南京邮电大学 基于不确定性估计的多模态情感分析方法、装置及设备