买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种基于知识图谱的答案获取方法，具体如下：从问题与候选答案中提取相关的关键词信息；在知识图谱中提取从问题当中的关键词到选项当中关键词的路径；将路径输入路径证据聚合器PEF和图证据聚合器GEF当中，分别得到相关的路径证据信息和图证据信息；将题目与选项组合成状态向量并输入文本证据聚合器TEF当中，利用TEF当中的预训练语言模型捕捉文本之间的语义关联，获得知识图谱之外的特征；将以上获得的三种不同来源的证据融合成特征向量并最后得到选择分数。充分利用题目给定的信息，在捕获题目当中单词语义关系的同时，还能利用知识图谱获得相关的证据信息进行答案选择，将结构化和非结构化的证据相结合，推荐准确率高，可解释性好。

主权项：1.一种基于知识图谱的答案获取方法,其特征在于，所述方法包括以下步骤：步骤1：根据给定的问题Qi和其候选答案Aij,本方法从Qi中提取n个关键词从Aij当中提取m个关键词并将这些关键词应用到不同的证据提取器当中；步骤2：针对步骤1当中提取出的关键词信息，利用迪杰斯特拉算法找到两个关键词对应节点在知识图谱当中的路径信息，步骤3：训练基于知识图谱的答案获取方法，首先利用步骤1当中提取的关键词和步骤2当中的路径构建三个证据聚合器分别聚合来自路径、图和文本的证据信息，将以上获得的证据信息拼接后得到选择的分数信息并给出答案，最后利用交叉熵损失函数实现反向传播；步骤4：根据步骤3所得到的最佳验证模型对待获取答案的问题进行获取答案操作，对于待进行答案获取的问题，首先按步骤1和步骤2进行处理，将问题原文、关键词和路径输入到步骤3中训练好的答案获取方法中，获得最终的答案信息；步骤3，利用步骤2处理后的基于知识图谱的答案获取方法进行训练，该步骤的实施分为以下子步骤：子步骤3-1，构建路径证据聚合器，采用基于解码器模块堆叠构建的生成方法GPT-2为核心的PEF获得问题-选项关键词对带有隐式关系的最优k，1≤k≤K，跳路径p′，并认为GPT-2能够在静态图当中找到更多相关的结构化证据，使用路径当中的三元组对预训练好的GPT-2进行微调，并使用字节对编码将路径转换为文本序列信息，使用前缀“_”代表相反的关系，在训练模型进行推理时，路径当中的最后一个词应在开始阶段输入模型当中表示模型应以此单词作为路径的结束，其计算过程如下：{E0，R′0，E1}＝GPT-2{E0，R0，E1}4其中{E0，R0，E1}是原始路径p当中的三元组,{E0，R′0，E1}是包含隐式关系的新路径p′当中的三元组，路径当中的关系实体升级成为包含很多推理信息的隐式关系，在生成所有关键词对之间的路径{p1，p2，…，pn}后,使用注意力机制获取整体知识的表示作为从路径当中获取的证据聚合，注意力计算公式如以下公式所示：ui＝tanhWip′i+bi5 上述公式中，Wi、bi为可学习的模型参数，p′i为新生成的路径信息，tanh·为激活函数，ui为生成路径的表示，αi为路径权重，Cp为来自路径的证据，子步骤3-2，构建图证据聚合器，选取了基于Bert的向量表示方法对节点进行初始化，具体的初始化方法如公式所示， 其中xi代表节点i的向量表示，为第0层节点i的隐藏状态，如公式9所示，在第l层使用线性变换计算从节点通过路径流向节点i的信息， 其中Wk为可学习的模型参数，为通过k跳路径传递至节点i的信息，是节点j在第l层的节点属性或隐藏状态，代表距离节点i的k跳路径起点集合，在第l+1层，通过注意力权重eik表示经过k跳路径传递至节点i的信息重要性与相关性大小，使用softmax函数对所有的注意力系数进行归一化，如公式10、11所示， 其中Wattn为可学习的模型参数，s为状态向量，为通过k跳路径传递至节点i的信息，eik为注意力系数，βik为注意力权重；使用了注意力机制衡量s与之间的相关性并分配了相应的权重βik，如公式12所示， 其中，βik为注意力权重，mi代表聚合之后的信息；如公式13所示，将传递到节点i的信息mi及当前层的隐藏状态通过线性组合的方式得到下一层的节点表示； 其中为模型学习的参数，σ为sigmoid激活函数，mi代表聚合之后的信息；最后在信息通过l+1网络传递之后可以得到每个节点最终的表示，如公式14所示，通过将所有节点的属性输入池化层最终得到图级别的证据表示； 其中Cg代表从图当中聚合的证据结果，子步骤3-3，构建文本证据聚合器，首先使用词法分析器对问题Qi和其候选答案Aij当中的单词进行分隔，再将其组成状态向量s并输入TEF当中获得证据信息，如公式15所示，在处理输入时本文使用预训练语言模型，对本文进行处理，并使用最后一个隐藏层的隐藏状态作为从文本当中提取的证据，Ct＝PLMss15其中s为状态向量；子步骤3-4，构建决策层，如公式16所示，最后来自文本的证据Ct，来自图的证据Cg以及来自路径的证据Cp通过拼接再送入决策层当中计算分数并得到最终的预测结果，ρQi，Aij＝Wmlp[Cp：C：Cg]+bmlp16其中，Wmlp和bmlp为待学习的模型参数，[:]为拼接函数，ρQi，Aij为问题Qi的选项Aij的分数；子步骤3-5，构建损失函数层，本层使用交叉熵损失作为所述模型的训练损失函数，如公式17所示，在训练阶段本方法通过最小化交叉熵损失组成最大化正确答案的分数； 子步骤3-6，联合训练损失，采用随机初始化的方式对所有的参数进行初始化，在训练过程中采用Adam优化器进行梯度反向传播来更新模型参数，初始学习率设置为0.001，当训练损失不再下降或训练轮数超过50轮时，模型训练结束，并保存在验证集上表现最好的模型。

全文数据：

权利要求：

百度查询： 东南大学 一种基于知识图谱的答案获取方法