买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明公开了一种基于情感视域聚焦的跨模态方面级情感分析方法及系统。设计两个图文对应的预训练模型获得图片和文本的初始特征向量表示，获取先验知识；一个基于结合了多头注意力机制的编码器的视阈聚焦模块，筛选包含情感的图片区域和与需要分析情感的方面对象高度相关的图片区域；一个transformer转换器通过构建上下文完成模态间特征的融合；两个全连接网络实现的情感分类器，分别完成图片视阈和图片情感子视域和文本共同构成的上下文序列的分类；一个动态模态间调控机制，针对两个分类结果进行个性化的权重分配，整合两种模态的输出。该过方法对于理解和分析复杂的图文情感表达具有重要意义，可广泛应用于自动化情感分析领域。

主权项：1.一种基于情感视域聚焦的跨模态方面级情感分析方法，其特征在于，包括以下步骤：步骤1：构建图文数据集，该数据集中每一个数据包含一张图片、相应的文本描述、方面词及该方面词对应的情感标签，将该图文数据集分为不相交的训练集与测试集；步骤2：将所述训练集中图片做预处理并将文本及方面词转换为Token作为模型的输入，情感标签用于计算深度学习模型的损失函数，所述模型处理过程如下：提取图片、文本和方面词的特征；利用目标方面词的特征向量作为查询向量，通过多头注意力机制的编码器层识别并选取与方面词最为相关的若干子图像特征向量，使用全连接网络层对筛选出的子图像特征向量进行模态特征的空间转换；图片通过多头注意力机制利用方面词特征向量进行更新后，获得新的全局池化表示，将该图片表示作为模态内表示，利用全连接神经网络完成图片情感类别的判断，获得对每种情感倾向的预测置信度；将筛选的子图像特征向量与文本向量进行合并，通过序列的拼接完成跨模态的上下文，然后采用Transformer模型处理拼接融合后的特征向量，更新对应的用于分类的方面词向量，将更新后的方面词特征向量与最初的文本全局表示向量相加作为用于分类的特征向量，输入到一个由全连接神经网络构成的序列情感分类器中，进行情感倾向预测；将图片的情感倾向预测与序列情感倾向预测通过动态的模态间调控机制完成加权的求和，计算最终的情感倾向判断；步骤3对模型进行训练和优化，使用训练好的模型进行跨模态方面级情感类别预测。

全文数据：

权利要求：

百度查询： 武汉大学 基于情感视域聚焦的跨模态方面级情感分析方法及系统