买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉科技大学申请的专利一种基于关键词引导和GATv2-LSTM网络的场景图问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116860936B 。

龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310823710.3，技术领域涉及：G06F16/3329；该发明授权一种基于关键词引导和GATv2-LSTM网络的场景图问答方法是由左韬;汪磊;宋栋设计研发完成，并于2023-07-05向国家知识产权局提交的专利申请。

本一种基于关键词引导和GATv2-LSTM网络的场景图问答方法在说明书摘要公布了：本发明公开了一种基于关键词引导和GATv2‑LSTM网络的场景图问答方法，步骤包括：对文本和场景图预处理，将文本形式的问题换为词向量序列，删除图中与问题无关的节点并编码生成新的场景图表示。将问题的词向量序列利用Transformer进行编码，提取问题关键词，利用关键词引导GATv2学习场景图特征，并利用LSTM网络对图特征进行归纳、推理，最后将问题特征与场景图特征相融合，输入到分类器获取最终答案。本方法使用场景图和关键词引导，并利用LSTM进行归纳、推理，能够有效缩小模态间差距、避免模型直接学习图像与文本间的映射，提高问答的准确率。

本发明授权一种基于关键词引导和GATv2-LSTM网络的场景图问答方法在权利要求书中公布了：1.一种基于关键词引导和GATv2-LSTM网络的场景图问答方法，其特征在于，包括以下步骤： 步骤1对文本问题和场景图进行预处理，将问题分割成字符序列，去除标点符号并转换为词向量序列，场景图去除与问题无关的节点并编码，包括以下步骤： 步骤1.1利用输入层将文本形式的问题数据输入到GATv2-LSTM图感知推理模型中； 步骤1.2去除标点符号，获得单词序列，然后利用GloVe将单词转换为300维的向量表示； 步骤1.3利用spaCy给文本问题打上POS标签，基于该标签提取出文本中出现的名词，计算名词与场景图中各节点的余弦相似度，根据余弦相似度过滤掉场景图中不重要节点，保留最相似的部分节点及其邻域节点； 步骤1.4基于上述场景图中剩余的节点，对场景图进行编码，具体操作为：利用场景图节点属性和原始场景图节点编码生成新的节点，利用边缘属性编码形成新的节点边缘，从而用新的节点表示场景图中对象，利用边缘表示对象间关系； 步骤2对文本问题进行编码并提取关键词，包括以下步骤： 步骤2.1利用TransformerEncoder模块编码文本问题； 步骤2.2利用自注意力机制获取向量形式的问题表示中各个词汇的自注意力得分，基于自注意力得分，提取对回答问题最重要的关键词； 步骤3利用步骤2.2中得到的问题关键词作为指令引导GATv2图神经网络学习步骤1.4中编码得到的新的场景图，并利用LSTM归纳总结特征，包含以下步骤： 步骤3.1首先将问题关键词利用GloVe转换为300维的指令向量，然后将指令向量与编码生成的场景图边缘表示和节点表示进行拼接； 步骤3.2将拼接后的新的节点表示和边缘表示输入到多个GATv2网络中，学习场景图特征，并将多个关键词引导学习到的图特征拼接成一个图特征序列； 步骤3.3由于不同关键词之间包含时序关系，因而引导产生的图特征也包含时序关系，基于步骤3.2的图特征序列，利用LSTM网络学习这种时序关系，LSTM网络的输入为图特征序列，输出信息为最后时刻隐藏层的特征向量，即LSTM输出的图特征； 步骤4将步骤2中得到问题表示与步骤3学习得到的图特征进行融合获取最终答案，包含以下步骤： 步骤4.1首先对步骤3.3输出的图特征进行池化操作，然后将图像特征和步骤2.1中得到问题表示进行逐元素乘积，从而融合两种特征； 步骤4.2利用两层的MLP网络对融合后的特征进行处理，最后输入分类器获取最终答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉科技大学，其通讯地址为：430081 湖北省武汉市青山区和平大道947号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。