买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉海南大学申请的专利基于多模态信息增强与交互的外部知识视觉问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118690852B 。

龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410801823.8，技术领域涉及：G06N5/04；该发明授权基于多模态信息增强与交互的外部知识视觉问答方法是由羊洁明;高源;杨静设计研发完成，并于2024-06-20向国家知识产权局提交的专利申请。

本基于多模态信息增强与交互的外部知识视觉问答方法在说明书摘要公布了：本发明涉及一种基于多模态信息增强与交互的外部知识视觉问答方法。所述方法包括：提取原始图像中带有语义信息的视觉特征；处理原始问题得到问题文本嵌入，通过LXMERT模型提取各个特征；基于张量Tucker融合方法计算相似度矩阵，得到自回归提示；基于单模型文本问答模块得到单模态提示；将自回归提示与单模态提示与原始问题建立连接，再次计算得到最终答案。使用原始问题生成自回归提示并利用基于图像描述和原始问题生成单模态提示，提高问题文本信息丰富度；采用基于张量Tucker融合方法进行特征交互，捕获目标与问题之间相关性；将自回归提示与单模态提示与原始问题建立连接，利用递归的答案生成范式加强两个阶段的一致性，使得生成的最终答案准确率较高。

本发明授权基于多模态信息增强与交互的外部知识视觉问答方法在权利要求书中公布了：1.一种基于多模态信息增强与交互的外部知识视觉问答方法，其特征在于，所述方法包括：将原始图像输入至目标检测器中，提取所述原始图像中的各个图像块以及对应的标签文本，并将所述图像块、所述标签文本输入至多模态特征提取器中，得到与所述原始图像中各个目标对应的带有语义信息的视觉特征；对原始问题进行分词以及特征化处理，得到问题文本嵌入，并将所述带有语义信息的视觉特征、所述问题文本嵌入输入到LXMERT模型中，得到综合视觉特征、文本特征、多模态特征；基于张量Tucker融合方法对所述综合视觉特征、文本特征进行处理，计算得到相似度矩阵，并基于所述相似度矩阵、所述多模态特征计算得到视觉问答的预测答案，作为自回归提示；基于VinVL模型提取所述原始图像中的图像描述，将所述图像描述、所述原始问题输入至单模型文本问答模块得到答案预测作为单模态提示；将所述自回归提示与所述单模态提示与所述原始问题建立连接，作为新的问题并再次进行分词以及特征化处理，根据新得到的相似度矩阵计算得到最终答案，包括：对新的问题进行分词以及特征化处理，得到新的问题文本嵌入，并将所述带有语义信息的视觉特征、所述新的问题文本嵌入输入到LXMERT模型中，得到新的综合视觉特征、文本特征、多模态特征；基于张量Tucker融合方法对所述新的综合视觉特征、文本特征进行处理，计算得到新的相似度矩阵，并基于所述新的相似度矩阵、所述新的多模态特征计算得到视觉问答的最终答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人海南大学，其通讯地址为：570100 海南省海口市人民大道58号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。