买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉桂林电子科技大学申请的专利基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119293730B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411434542.X，技术领域涉及：G06F18/25；该发明授权基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法是由刘平山;刘江莉;王朝阳;玉色树设计研发完成，并于2024-10-15向国家知识产权局提交的专利申请。

本基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法在说明书摘要公布了：本发明公开了一种基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法，包括：提取待分析视频的文本特征、音频特征和视频特征，构建具有上下文时序信息的特征提取模块；基于跨模态注意力机制使其他模态特征能够感知文本情感信息，构建堆叠文本驱动跨模态融合模块；为尽可能保留任务相关信息并滤除与任务无关的噪声信息，构建对融合特征向量进行互信息上下界估计的互信息估计模块；结合互信息估计模块与主任务损失函数构建损失函数模块；构建将融合特征向量输入到激活函数进行情感极性判断的预测模块。本发明构建的多模态情感分析模型在两个公开可用的数据集进行了全面实验，实验结果表明该模型的情感分析性能有显著提升。

本发明授权基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法在权利要求书中公布了：1.一种基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法，其特征在于，包括以下步骤： 步骤S1：使用各模态对应的提取工具提取待分析视频中的文本特征、音频特征和视频特征，构建具有上下文时序信息的特征提取模块； 步骤S2：基于跨模态注意力机制使其他模态特征能够感知文本情感信息，构建堆叠文本驱动跨模态融合模块； 步骤S3：构建对特征融合向量进行互信息上下界估计的互信息估计模块，保留任务相关信息并滤除与任务无关的噪声信息； 步骤S4：结合互信息估计模块与主任务损失函数构建损失函数模块； 步骤S5：构建将融合特征向量输入到激活函数进行情感极性判断的预测模块； 其中： 步骤S2中所述构建堆叠文本驱动跨模态融合模块，通过对文本、音频和视频三模态特征进行双重组合，形成三模态综合特征体系；其中：堆叠文本驱动跨模态融合模块包含文本驱动的文本融合模块、文本驱动的音频融合模块和文本驱动的视频融合模块三个子模块，三个子模块均由多层跨模态注意力方法组成，使模态间的情感线索得到有效共享；跨模态融合时，从辅助模态β到目标模态α的潜在适配可表示为跨模态注意力Yβ→α，其计算公式为： 其中，β表示辅助模态，α表示目标模态，β、α∈{t,a,v}，t为文本模态，a为音频模态，v为视频模态，CmAnβ→α·表示跨模态信息融合操作，Gα和Gβ分别为输入CmAn的辅助模态向量和目标模态向量；其中Qα＝ZαWQ,α、Kβ＝ZβWK,β和Vβ＝ZβWV,β分别表示经过层归一化和映射后得到查询向量Query、键向量Key和值向量Value；WQ,α、WK,β和WV,β是查询向量、键向量和值向量的不同权重矩阵；dK表示键Key向量的维度,用于缩放点积；sofmtax·表示softmax激活函数； 步骤S3中所述互信息估计模块，采用一种高效的互信息神经估计策略，最大限度地保留各模态间与任务相关的关键信息，量化它们之间的依赖关系，使用如下的互信息下界估计表达式 其中，F表示多模态融合特征向量，γ表示数据集中代表情感的真实标签，I·表示计算向量之间的互信息；θ表示变分参数，其所有可能取值空间为Θ，Tθ是由θ参数化的神经网络，逼近任意复杂的非线性函数；Pn表示与n个样本相关的经验分布，表示在联合分布下对函数Tθ的期望，表示在F和Y的边缘分布和下对的期望；表示上确界提供一个潜在的下界估计，表示在参数空间Θ上对函数Tθ的最优值进行搜索。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人桂林电子科技大学，其通讯地址为：541004 广西壮族自治区桂林市七星区金鸡路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。