买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉同济大学申请的专利基于外部知识增强和语义一致的视觉对话方法和设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119782457B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411660296.X，技术领域涉及：G06F16/3329；该发明授权基于外部知识增强和语义一致的视觉对话方法和设备是由王瀚漓;杜杉杉设计研发完成，并于2024-11-20向国家知识产权局提交的专利申请。

本基于外部知识增强和语义一致的视觉对话方法和设备在说明书摘要公布了：本发明涉及一种基于外部知识增强和语义一致的视觉对话方法和设备，方法包括：根据获取的图像、历史对话文本和当前问题文本，通过提取域内视觉对象间的关联关系和域内文本词汇间的关联关系构建多模态场景图，通过提取常识知识三元组构建常识知识库；基于常识知识库，对多模态场景图进行扩展并进行关系增强学习，得到关联增强节点的特征；利用预训练的大语言模型获取实例级表征，基于关联增强节点的特征得到文本常识级表征，针对实例级表征和常识级表征进行特征融合，得到全局的融合特征；基于融合特征，通过推理得到视觉对话的答案。本发明能够细致挖掘语义关联，使得多轮视觉对话在精准度、丰富性和全面性方面均有显著提升。

本发明授权基于外部知识增强和语义一致的视觉对话方法和设备在权利要求书中公布了：1.一种基于外部知识增强和语义一致的视觉对话方法，其特征在于，包括如下步骤： 根据获取的图像、历史对话文本和当前问题文本，通过提取域内视觉对象间的关联关系和域内文本词汇间的关联关系构建多模态场景图，通过提取常识知识三元组构建常识知识库； 基于所述常识知识库，对所述多模态场景图进行扩展并进行关系增强学习，得到局部的显式结构化特征，作为关联增强节点的特征； 基于所述图像、历史对话文本、当前问题文本和候选答案文本，利用预训练的大语言模型获取隐式特征，作为实例级表征，基于所述关联增强节点的特征得到文本常识级表征，针对所述实例级表征和所述常识级表征进行特征融合，得到全局的融合特征； 基于所述融合特征，通过推理得到视觉对话的答案， 其中，基于所述常识知识库，对所述多模态场景图进行扩展并进行关系增强学习，得到局部的显式结构化特征的过程包括如下步骤： 针对所述多模态场景图中的每个子场景图，在子场景图的节点基础上进行查询，通过计算与常识知识库中节点的相关性得分，将得分高的节点及其关联关系整合至视觉场景图中，实现多模态场景图的扩展； 针对扩展后的多模态场景图中的每个子场景图，利用预训练的CNN网络模型提取节点特征，利用预训练的BERT模型提取边特征，对扩展后的多模态场景图进行编码； 针对编码后的多模态场景图中的每个子场景图，构建表征节点对之间存在不同类型关系频率的邻接矩阵； 基于所述邻接矩阵，利用图卷积神经网络提取得到关联增强节点的特征，实现多模态特征的理解和融合。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。