买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉桂林电子科技大学申请的专利一种基于协同注意力融合的方面级多模态情感分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115293170B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210965059.9，技术领域涉及：G06F18/2415；该发明授权一种基于协同注意力融合的方面级多模态情感分析方法是由蔡国永;王顺杰设计研发完成，并于2022-08-12向国家知识产权局提交的专利申请。

本一种基于协同注意力融合的方面级多模态情感分析方法在说明书摘要公布了：本发明提出了一种基于协同注意力的全局‑局部特征融合网络的方面级多模态情感分析方法，包括如下步骤：1）获得左文本上下文表示、右文本上下文表示、方面聚合表示以及图像局部表示；2）生成方面引导的全局文本特征表示和方面引导的全局图像特征表示；3）构建跨模态特征交互机制来同时生成融入视觉的局部文本特征表示和融入文本的局部视觉特征表示；4）构建门控的多模态融合机制；5）得到情感极性预测结果。该方法在方面级多模态情感分析任务中性能得到提升，能够有效地捕获模态内的全局语义关联和模态间的局部语义对齐。

本发明授权一种基于协同注意力融合的方面级多模态情感分析方法在权利要求书中公布了：1.一种基于协同注意力融合的方面级多模态情感分析方法，其特征在于，包括如下步骤： 1）获得左文本上下文表示、右文本上下文表示、方面聚合表示以及图像局部表示：采用预训练BERT模型或者Glove词嵌入得到文本嵌入序列，再使用长短时记忆网络来学习文本嵌入序列的上下文依赖，以此来得到左文本上下文表示、右文本上下文表示以及方面表示，并对方面表示进行平均池化得到方面聚合表示；对于图像，采用ResNet网络得到图像的特征表示，并将其转换成图像局部表示；获得左文本上下文表示、右文本上下文表示、方面聚合表示以及图像局部表示包括如下步骤： 1.1）首先，采用预训练BERT模型或者Glove词嵌入得到文本嵌入序列，再使用长短时记忆网络来学习文本嵌入序列的上下文依赖，以此来得到左文本上下文表示、右文本上下文表示以及方面表示，并对方面表示进行平均池化得到方面聚合表示； 1.2）对于图像，采用ResNet模型抽取图像特征得到图像的特征表示，并把图像分为不同的区域，得到图像局部表示以便于方面进行细粒度的引导图像局部特征； 2）生成方面引导的全局文本特征表示和方面引导的全局图像特征表示：利用方面聚合表示引导的注意力机制来分别引导步骤1）得到的左文本上下文表示、右文本上下文表示，然后使用低秩线性池化来将方面聚合表示分别和方面聚合表示引导的左、右文本上下文表示进行交互，并将交互后的结果拼接来得到方面引导的全局文本特征表示；利用方面聚合表示引导的注意力机制来引导步骤1）得到的图像局部表示来得到方面引导的全局图像特征表示； 生成方面引导的全局文本特征表示和方面引导的全局图像特征表示包括如下步骤： 2.1）对于生成方面引导的全局文本特征表示： ①利用步骤1）中得到的左文本上下文表示与方面聚合表示的双线性交互关系，计算左文本上下文中每个隐状态的注意力权重，然后加权求和得到方面聚合表示引导的左文本上下文表示，采用同样的方法得到方面聚合表示引导的右文本上下文表示； ②采用低秩双线性池化来分别学习方面聚合表示与方面聚合表示引导的左、右文本上下文表示的交互，并将得到的特征拼接，得到方面引导的全局文本特征表示，低秩双线性池化能够关注特征的两两交互，能够实现方面和左右上下文的有效关注； 2.2）对于方面引导的全局图像特征表示，利用步骤1）中得到的图像局部表示与方面聚合表示的双线性交互关系，计算图像的每个区域的注意力权重，然后加权求和得到方面引导的全局图像特征表示； 3）构建跨模态特征交互机制来同时生成融入视觉的局部文本特征表示和融入文本的局部视觉特征表示：通过多头自注意力来分别学习步骤1）得到的文本嵌入序列和图像局部表示，然后得到文本序列上下文特征和图像局部上下文特征，并使用文本引导的视觉上下文注意力机制得到文本引导的视觉上下文特征，然后通过门控机制将其和文本序列上下文特征融合来生成融入视觉的局部文本特征表示；同时，使用视觉引导的文本上下文注意力机制得到视觉引导的文本上下文特征，通过门控机制将其和图像局部上下文特征融合来生成融入文本的局部视觉特征表示； 4）构建门控的多模态融合机制：采用门控机制将步骤2）得到的方面引导的全局文本特征表示来过滤融合步骤2）得到的方面引导的全局图像特征表示，得到全局多模态融合表示；同时又将步骤3）得到的融入视觉的局部文本特征表示和融入文本的局部视觉特征表示进行融合，得到局部多模态融合表示； 5）得到情感极性预测结果：对步骤2）得到的全局文本特征表示、全局图像特征表示和步骤4）得到的全局多模态融合表示以及局部多模态融合表示拼接后输入到softmax函数得到情感分类的极性。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人桂林电子科技大学，其通讯地址为：541004 广西壮族自治区桂林市七星区金鸡路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。