买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利一种融合语法树的多关系感知异构图视觉问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117034185B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310748057.9，技术领域涉及：G06F18/25；该发明授权一种融合语法树的多关系感知异构图视觉问答方法是由施重阳;苏翔睿设计研发完成，并于2023-06-25向国家知识产权局提交的专利申请。

本一种融合语法树的多关系感知异构图视觉问答方法在说明书摘要公布了：本发明涉及一种融合语法树的多关系感知异构图视觉问答方法，属于计算机视觉和自然语言处理技术领域。本方法构建了语义关系图和空间关系图，以充分利用图片中的实体关系；为充分结合问题语法信息与图片信息，使用名词性单词节点作为纽带，将问题语法树分别与实体语义关系图和实体空间关系图相结合，构建了融合多关系与多节点的多模态异构图结构；设计了一种基于多头注意力机制的关系感知异构图注意力网络，以充分抽取关系感知的问题表征和实体表征，实现了模态内与模态间的细粒度特征交互与图文实体隐式对齐。本方法在实现问题单词与图片实体的语义对齐的同时，也实现了实体之间的动态信息交互。

本发明授权一种融合语法树的多关系感知异构图视觉问答方法在权利要求书中公布了：1.一种融合语法树的多关系感知异构图视觉问答方法，其特征在于，包括以下步骤： 步骤1：抽取图像实体特征和实体关系，构建实体语义关系图和空间关系图； 步骤1.1：从图片中识别一组实体对象和一组边界框特征向量； 步骤1.2：从图片中抽取出各个实体对象之间的语义关系，并基于边界框特征向量计算实体对象之间的空间关系； 步骤1.3：基于实体语义关系与实体空间关系，构建语义关系图和空间关系图； 步骤2：构建问题语法树，对语法树信息进行编码； 步骤2.1：从问题中提取问题的语法依赖信息、词性信息，构建问题语法树； 步骤2.2：初始化问题语法树每个单词节点的文本表征，随机初始化网络可学的词性表征向量，将二者拼接起来作为树节点表征； 步骤2.3：对语法树进行学习，获取语法结构感知的单词表征，最终提取语法信息感知的问题表征和单词表征； 步骤3：构建语法感知的多模态异构图，抽取语法信息感知的细粒度实体表征与问题表征； 步骤3.1：以问题语法树中的名词性节点作为桥梁，构建联系起问题语法树与实体关系图的多模态异构图； 步骤3.2：从多模态异构图中提取语法信息感知的实体表征，不仅包含图片模态的语义关系图和空间关系图，而且还结合问题语法树，能够根据不同关系实现对视觉实体之间特征传递的引导，最终得到语法信息感知的细粒度实体表征； 步骤4：计算视觉图片和问题文本的联合特征； 步骤5：预测相关问题的答案标签； 步骤6：训练神经网络，使用交叉熵作为损失函数计算损失值； 预先设置迭代次数，如果迭代次数满足设置次数，则训练流程结束，实现谣言真实性标签的预测；如果迭代次数不满足设置次数，则返回步骤1，继续进行下一轮训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。