买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江师范大学;科大讯飞股份有限公司申请的专利一种基于多模态大模型的对话情感识别方法及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119416035B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510018288.3，技术领域涉及：G06F18/241；该发明授权一种基于多模态大模型的对话情感识别方法及设备是由李明;周斯炜;施建栋;黄昌勤;王士进设计研发完成，并于2025-01-07向国家知识产权局提交的专利申请。

本一种基于多模态大模型的对话情感识别方法及设备在说明书摘要公布了：本申请公开了一种基于多模态大模型的对话情感识别方法及设备，涉及情感识别领域，该方法包括在当前场景中获取对话中的所有语句集合；每一语句中包括音频、视频和文本三个模态；构建对话情感识别模型；所述对话情感识别模型包括：特征提取层、双向门控单元、多模态大模型、BERT语言模型、模态信息互补模块、基于语义图的多层残差图卷积网络以及全连接层；根据对话中的所有语句集合，采用训练好的对话情感识别模型，得到情感识别结果。本申请能够提高对话情感识别的准确性与稳健性。

本发明授权一种基于多模态大模型的对话情感识别方法及设备在权利要求书中公布了：1.一种基于多模态大模型的对话情感识别方法，其特征在于，所述基于多模态大模型的对话情感识别方法包括：在当前场景中获取对话中的所有语句集合；每一语句中包括音频、视频和文本三个模态；构建对话情感识别模型；所述对话情感识别模型包括：特征提取层、双向门控单元、多模态大模型、BERT语言模型、模态信息互补模块、基于语义图的多层残差图卷积网络以及全连接层；所述特征提取层用于分别提取每一模态的初始特征；所述双向门控单元用于提取对话人信息嵌入；所述多模态大模型用于提取每一模态的细粒度情感线索特征；并对BERT语言模型进行微调；微调后的BERT语言模型用于对每一模态的细粒度情感线索特征进行编码，并利用多模态大模型将编码后特征与每一模态的初始特征进行拼接，得到对应模态的最终特征；所述模态信息互补模块用于根据每一模态的最终特征以及对话人信息嵌入得到对应模态的互补学习的初始特征向量表示；所述互补学习根据不同模态对应的初始特征向量表示确定不同模态之间的注意力权重得分矩阵；并根据不同模态之间的注意力权重得分矩阵，采用注意力运算得到模态共享信息特征和模态独有信息特征，而后采用差分正则化算子损失确保模态共享信息特征和模态独有信息特征的信息区分度；基于语义图的多层残差图卷积网络用于将模态共享信息特征和模态独有信息特征进行拼接，得到模态补全特征；并以模态补全特征为节点，构建语义关系图；进而利用多层残差图卷积网络对语义关系图进行图表示学习，得到多层残差图卷积网络；并根据多层残差图卷积网络提取影响学习者情感转变的长期因素和情感瞬变因素；长期因素为长时通道采用浅层一维卷积获取语义图节点特征的全局且长期内的对话信息；情感瞬变因素为短时通道采用深层一维卷积获取非线性映射后的局部且短期内的对话信息；所述全连接层用于根据影响学习者情感转变的长期因素和情感瞬变因素确定情感识别结果；根据对话中的所有语句集合，采用训练好的对话情感识别模型，得到情感识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江师范大学;科大讯飞股份有限公司，其通讯地址为：321004 浙江省金华市婺城区迎宾大道688号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。