买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：烟台大学;哈尔滨工业大学(威海)

摘要：本申请涉及多模态数据处理技术领域，具体为以音频模态为目标模态的多模态情感分析方法和系统；为解决现有技术中多模态情感分析准确度较低的问题，本申请制定当存在音频模态时，将图像模态和文本模态翻译为音频模态，经融合后进行神经网络处理，得到多模态情感预测结果；当不存在音频模态时，用互信息分数来判断哪个模态中所含的情感信息更多，以此来让其他模态向其翻译，得到缺失联合特征，并将标准完整联合特征作为目标，缺失联合特征向完整联合特征逼近进行神经网络处理，得到多模态情感预测结果；该方法应用到多模态情感分析领域中，处理过程更灵活、分析过程更全面、更合理，得到情感预测结果准确度更高。

主权项：1.一种以音频模态为目标模态的多模态情感分析方法，其特征在于，包括以下步骤：S1、获取待分析的多模态数据，判断是否存在音频模态，如果存在，则执行S2，如果不存在，则执行S3；S2、分别提取音频模态数据、图像模态数据和文本模态数据的上下文特征，得到音频特征、图像特征和文本特征；将图像特征和文本特征分别翻译为音频特征，得到图像翻译特征和文本翻译特征；将音频特征、图像翻译特征和文本翻译特征进行融合操作，得到完整联合特征，执行S4；S3、分别提取图像模态数据和文本模态数据的上下文特征，得到图像特征和文本特征；基于文本特征、图像特征与情感标签之间的联合概率及边际概率，分别得到文本特征、图像特征与情感标签之间的互信息分数，进行比较后，将与情感标签之间的互信息分数最高值对应的模态特征作为优势模态特征；将其他模态特征翻译为优势模态特征，得到翻译优势模态特征；将优势模态特征和翻译优势模态特征进行融合，得到缺失联合特征，执行S5；S4、使用神经网络工具对完整联合特征进行处理，得到完整联合特征向量，完整联合特征向量经过分类，得到多模态情感预测结果；S5、使用神经网络工具，以标准完整联合特征作为目标，缺失联合特征向完整联合特征进行逼近，直到损失函数达到设定值，得到缺失特征向量，缺失特征向量经过分类，得到多模态情感预测结果。

全文数据：

权利要求：

百度查询： 烟台大学 哈尔滨工业大学(威海) 以音频模态为目标模态的多模态情感分析方法和系统