中国矿业大学郭丽丽获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国矿业大学申请的专利基于图动态融合和互信息最大化的多模态情感识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121302288B 。
龙图腾网通过国家知识产权局官网在2026-03-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511857508.8,技术领域涉及:G06F18/25;该发明授权基于图动态融合和互信息最大化的多模态情感识别方法是由郭丽丽;崔雅楠;张静晓;苏子阳;龙薪月;任宣竹;杨超;李雨杭;丁世飞设计研发完成,并于2025-12-10向国家知识产权局提交的专利申请。
本基于图动态融合和互信息最大化的多模态情感识别方法在说明书摘要公布了:一种基于图动态融合和互信息最大化的多模态情感识别方法,获取多模态对话数据集;构建用于对声学、视觉和文本特征进行编码处理的多模态特征提取模块;构建用于通过模态内边传播特征捕获模态内长距离依赖关系,用于通过模态间边实现特征交互的图结构模块;构建改进的图卷积层和动态门控机制结合的多模态动态融合模块;构建用于进行互信息下界估计,并生成融合层互信息损失函数的多模态互信息最大化模块;加入情感分类器构成初始识别模型;模型训练及优化;进行情感的在线识别。该方法实施过程简单、实施成本低、识别精度高,其通过图结构建模跨模态动态交互融合、以及利用互信息约束增强特征互补性,能显著提升对话情感识别的准确性与鲁棒性。
本发明授权基于图动态融合和互信息最大化的多模态情感识别方法在权利要求书中公布了:1.一种基于图动态融合和互信息最大化的多模态情感识别方法,其特征在于,包括以下步骤: 步骤一:获取多模态对话数据集; 获取多模态对话数据集的过程如下: 从包含声学、视觉和文本信息的对话数据集中,分别提取出原始声学特征、原始视觉特征和原始文本特征,并确保原始声学特征、原始视觉特征和原始文本特征的时间戳对齐,形成样本数据集;按设定比例将样本数据集划分为训练集和测试集; 步骤二:构建多模态特征提取模块,用于提取多模态特征; 步骤三:构建图结构模块;根据对话中的话语数量构建无向图;初始化图中节点嵌入,将同一模态的所有节点两两相连形成模态内边,以用于捕获模态内长距离依赖关系,将同一话语的不同模态节点互相连接形成模态间边,以促进跨模态信息交互,形成基于对话的图结构模块;图结构模块用于计算边的权重,同时,用于通过模态内边传播特征,捕获模态内长距离依赖关系,用于通过模态间边实现特征交互,并输出多模态节点最终特征表示; 步骤四:构建多模态动态融合模块,用于融合多模态特征; 步骤五:构建多模态互信息最大化模块;基于Barber-Agakov下界估计方法构建包括均值预测网络和方差预测网络的互信息最大化模块,互信息最大化模块用于进行互信息下界估计,并基于三种模态的特征之间和单模态特征与融合模态特征之间互信息最大化生成融合层互信息损失函数; 步骤六:构建多模态情感识别模型;S61:在多模态特征提取模块、图结构模块、多模态动态融合模块和多模态互信息最大化模块的基础上,加入情感分类器,构成初始识别模型;同时,构建包含融合层互信息损失函数的总损失函数;S62:利用训练集和测试集对初始识别模型进行训练,在训练过程中,使用总损失函数对模型参数进行优化,训练后得到多模态情感识别模型; 步骤七:进行情感的在线识别;采集一句包含原始声学特征、原始视觉特征和原始文本特征的对话数据,作为预测输入数据;将预测输入数据输入至多模态情感识别模型中进行识别,输出情感标签。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国矿业大学,其通讯地址为:221116 江苏省徐州市铜山区大学路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励