买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种基于混合专家模型和联合学习的知识库问题生成方法，主要用于给定知识图谱三元组子图、答案和复杂关系信息的情况下生成与给定三元组子图相关的，可被答案回答的，并且对应给定关系信息的、多样化的复杂自然语言表述问题。本发明使用图神经网络对输入三元组子图进行编码，得到输入子图的向量表示。使用Transformer网络进行解码，生成问题。在解码过程中结合复杂问题场景，使用隐变量建模有效表示关系的结构信息。此外使用混合专家模型，指导问题生成，提升生成问题的多样性。最后使用知识图谱问答任务与知识图谱问题生成任务联合训练，用于约束问题生成过程，使生成的问题包含期望的复杂关系信息，实现生成复杂问题的目的。

主权项：1.一种基于混合专家模型的知识图谱复杂问题生成和问答联合学习方法，其特征在于，学习方法包括如下步骤：1通过对输入三元组子图进行重构，实现从输入中编码得到复杂问题生成所需的复杂关系信息；2使用图神经网络GraphTransformer方法对重构后的输入三元组子图进行编码；3使用混合专家模型，预测专家选择不同的生成结果；4使用隐变量建模关系的结构信息，实现对复杂关系的编码，指导复杂问题的生成；5使用Transformer网络，在关系结构编码信息和选择专家的指导下对编码结果进行解码，生成问题，6使用Transformer对输入复杂问题进行编码；7使用混合专家模型选择不同的专家，指导完成问答的过程；8预测关系的层级依存关系，完成对复杂问题的复杂关系编码解析；9使用Transformer网络预测复杂问题对应的关系序列，完成问答过程，10通过联合学习，知识图谱问答实现对知识图谱问题生成的约束；其中，所述步骤1中，输入三元组构成一个子图其中V是实体节点集合，E是关系边集合，子图为带边权值图，对子图进行重构，将带属性的关系边扩展成节点，然后通过无权置边链接实体节点和新扩展的关系节点，将子图重构为无权值边子图，对于每一个关系边，扩展成两个节点，分别表示该关系的正向关系和逆向关系，然后通过正向有向边联通三元组的头实体节点、正向关系节点和尾实体节点，通过逆向有向边联通三元组的尾实体节点、逆向关系节点和头实体节点；所述步骤3中，使用混合专家模型，假设预测过程有一个隐藏专家进行指导，不同的专家有着自己的偏好，有的更倾向于生成多跳复杂问题，有的倾向于生成简单问题，自定义有K个专家，问题生成的目标为最大化下式： 其中zq∈{1,…,K}表示模型选择的专家，G是输入子图，θq是知识图谱复杂问题生成模块模型参数，Q是目标生成的问题；p.表示括号内部分的概率，所述步骤4中，复杂问题生成的问题文本将文本分成多个短句，每个短句与复杂问题中其中一个关系信息相关，不同短句之间语义信息有一定的跳转，在解码器生成问题时使用隐变量来表示时间步t生成词语是否属于一个新的短句，计算式如下： 其中e0和e1是两个可训练的embedding表示，分别表示当前词语与上一个词属于一个文本短句，或者当前词语新起一个新的文本短句，是选择步骤3中选择专家zq的向量表示，是时间步t的隐藏状态，σ是sigmod激活函数，fc是全连接层Fullyconnectedlayer，v是经过编码器得到的解码器初始状态向量，所述步骤7中，知识图谱复杂问题问答设计的问句复杂性多样，使用混合专家模型，假设知识图谱问答进行关系抽取是有一个隐藏专家进行指导，自定义有K个专家，知识图谱复杂问题问答的目标为最大化下式： 其中zr∈{1,…,K}表示模型选择的专家，Q是输入复杂问题，θr是知识图谱复杂问题问答模块模型参数，R是目标得到的关系序列。

全文数据：

权利要求：

百度查询： 东南大学 一种基于混合专家模型和联合学习的知识库问题生成方法