买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院计算技术研究所申请的专利一种基于路径推理的开放视觉问答的系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117151225B 。

龙图腾网通过国家知识产权局官网在2026-01-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311042747.9，技术领域涉及：G06N5/04；该发明授权一种基于路径推理的开放视觉问答的系统是由王树徽;甘婧儒;韩歆哲;黄庆明设计研发完成，并于2023-08-18向国家知识产权局提交的专利申请。

本一种基于路径推理的开放视觉问答的系统在说明书摘要公布了：本发明提供了一种基于路径推理的开放视觉问答的系统，包括：模式图构建模块，用于根据输入的图像和针对该图像提出的问题文本，构建第二模式图；剪枝网络，包括节点编码器和剪枝层，节点编码器，用于根据图像、问题文本以及各个节点的类型提取节点的嵌入向量；剪枝层，用于对第二模式图进行剪枝，得到第三模式图；路径推理网络，包括路径编码器、双线性层和输出层，路径编码器确定候选推理路径的嵌入向量，双线性层，用于确定各候选推理路径的嵌入向量与多模态上下文特征的匹配概率，输出层，用于根据各候选推理路径对应的匹配概率确定推理结果。

本发明授权一种基于路径推理的开放视觉问答的系统在权利要求书中公布了：1.一种基于路径推理的开放视觉问答的系统，其特征在于，所述系统包括： 模式图构建模块，用于获取输入的图像和针对该图像提出的问题文本，从所述图像和问题文本中提取节点和关系来构建第一模式图，从预设的知识库检索第一模式图中节点的预设跳数内的邻居节点以对所述第一模式图进行扩展，得到融合外部知识信息的第二模式图； 剪枝网络，包括节点编码器和剪枝层，其中， 所述节点编码器，用于根据所述图像、所述问题文本以及各个节点的类型提取节点的嵌入向量； 所述剪枝层，用于根据每个节点的嵌入向量与多模态上下文特征的相似性和每个节点与关键节点的距离的加权和对第二模式图进行剪枝，得到第三模式图，其中，所述多模态上下文特征是交叉对图像和文本提取特征所得到的融合特征，所述关键节点为从所述图像和问题文本中提取的节点； 路径推理网络，包括路径编码器、双线性层和输出层，其中， 路径编码器，用于基于从第三模式图提取的多条候选推理路径，根据问题文本的文本特征、图像的图像特征和每条候选推理路径上各节点的嵌入向量的拼接向量确定该条候选推理路径的嵌入向量， 双线性层，用于确定各候选推理路径的嵌入向量与多模态上下文特征的匹配概率， 输出层，用于根据各候选推理路径对应的匹配概率确定推理结果； 其中，所述系统按照以下方式训练得到： 获取训练数据，其包括多个样本和标签，其中，每个样本包括样本图像和样本问题文本，标签指示样本对应答案真值； 将训练数据中的样本输入系统，得到样本对应第二模式图及其每个节点的嵌入向量，以及每个样本对应的多个候选推理路径的匹配概率； 根据训练数据中样本的三元组损失和二分类交叉熵损失确定总损失，根据所述总损失更新节点编码器、路径编码器和双线性层的可训练参数，其中，每个样本的三元组损失为根据该样本的第二模式图所能构建的所有三元组的子损失的均值，每个三元组中，锚样本为该样本的多模态上下文特征，正样本为一个答案真值对应的节点的嵌入向量，负样本为非答案真值对应的节点的嵌入向量；每个样本的二元交叉熵损失为该样本对应的所有候选推理路径的匹配概率与标签计算的二元交叉熵子损失的均值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院计算技术研究所，其通讯地址为：100190 北京市海淀区中关村科学院南路6号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。