买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东交通学院申请的专利基于知识库的视觉问答双流注意力多跳推理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116976438B 。

龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310664568.2，技术领域涉及：G06N5/025；该发明授权基于知识库的视觉问答双流注意力多跳推理方法及系统是由朱振方;孙彦晗;李克峰;亓江涛;裴洪丽;张广渊;王朋设计研发完成，并于2023-06-05向国家知识产权局提交的专利申请。

本基于知识库的视觉问答双流注意力多跳推理方法及系统在说明书摘要公布了：本发明提出基于知识库的视觉问答双流注意力多跳推理方法及系统，涉及机器理解领域。包括获取问题、图像和对应的图像知识库，得到知识超图和问题超图，进而得到知识超图特征和问题超图特征；计算问题超图引导的知识超图的关联矩阵，获得与问题超边最相关的知识超边，计算每一个知识超边的权重，提取以问题超边为中心的知识超边第一聚合信息；计算知识超图引导的问题超图的关联矩阵，获得与知识超边最相关的问题超边，计算每一个问题超边的权重，提取以知识超边为中心的问题超边第二聚合信息；将第一聚合信息和第二聚合信息输入至答案预测层中，输出预测答案。本发明有效提高模型的自适应推理能力和降低冗余信息对于模型的干扰。

本发明授权基于知识库的视觉问答双流注意力多跳推理方法及系统在权利要求书中公布了：1.基于知识库的视觉问答双流注意力多跳推理方法，其特征在于，包括以下步骤： 获取问题、图像和对应的图像知识库；获取基于知识的视觉问答数据集和基于知识的文本问答数据集数据集中的问题和图像； 将问题和图像分别输入至超图编码层中进行编码，得到知识超图和问题超图；将问题和图像分别输入至超图编码层中进行编码，得到知识超图和问题超图，具体为：将知识库中大量的知识事实视为一个巨大的知识图，通过图遍历来构造超图；将一个三元组定义为图遍历的基本单位，每个图遍历包含三个节点{head，predicate，tail}，然后通过多跳图遍历编码多个相互关联的关系事实，n跳图遍历则将n个事实合并为一个超边，由此得到知识超图；将问题句子中每一个单词定义为一个节点并且有到相邻节点的边，多跳图遍历与知识超图相同，一个短语作为是问题超图中的一个超边，由此得到问题超图； 将知识超图和问题超图利用注意力机制进行初步处理，得到知识超图特征和问题超图特征；将知识超图和问题超图利用注意力机制进行初步处理，具体包括：使用多头注意力机制增加问题超图自身的注意权重，使用引导注意力层学习知识超边和问题超边之间的相关性，之后通过自注意层学习问题超边和知识超边内部各自的语义关系，得到知识超图特征和问题超图特征； 基于知识超图特征和问题超图特征，计算问题超图引导的知识超图的关联矩阵，获得与问题超边最相关的知识超边，计算每一个知识超边的权重，提取以问题超边为中心的知识超边所具有的第一聚合信息；同时计算知识超图引导的问题超图的关联矩阵，获得与知识超边最相关的问题超边，计算每一个问题超边的权重，提取以知识超边为中心的问题超边所具有的第二聚合信息； 所述第一聚合信息的具体获取过程为：首先基于知识超图特征和问题超图特征，计算问题引导的问题超图与知识超图的关联矩阵Aq，评估知识超图中每个超边与问题超图中每个超边的相关性；然后计算关联Aq矩阵上的行最大池层，获得与问题超边最相关的知识超边；采用独热编码分类分布对每一个知识超边进行权重计算；根据独热编码分类分布获得的权重分布，仅提取权重值为1索引位置上的以问题超边为中心的知识超边所具有的信息，聚合成第一聚合信息Zk； 所述第二聚合信息的具体获取过程为：基于知识超图特征和问题超图特征，计算知识超图引导的知识超图与问题超图的关联矩阵Ak；然后计算关联矩阵Ak上的行最大池层，获得与知识超边最相关的问题超边；采用独热编码分类分布对每一个问题超边进行权重计算；根据独热编码分类分布获得的权重分布，仅提取权重值为1索引位置上的以知识超边为中心的问题超边所具有的信息，聚合成第二聚合信息Zq； 将第一聚合信息和第二聚合信息进行拼接融合，将拼接融合后的聚合信息输入至答案预测层中，输出问题对应的预测答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东交通学院，其通讯地址为：250300 山东省济南市天桥区交校路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。