买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:东北大学
摘要:本发明设计一种距离感知和多步推理的文档级关系抽取方法;首先将文档输入基于Transformer的预训练语言模型,得到编码后的文本序列向量;利用注意力机制寻找文档中能够帮助关系抽取模型确定实体对关系的上下文信息向量;利用带有距离信息的提及聚合模块,将提及之间的距离信息融入注意力机制中,并为实体的各个提及计算出聚合权重,最后将提及的向量特征聚合为实体对向量特征;利用多步推理模块构建实体对图将实体对特征作为节点特征,利用图注意力神经网络让实体对能够感知并聚合其它实体对的特征信息以更新自身的特征,达到多步推理的效果,最后将图神经网络得到的节点特征和节点对应的实体特征融合,得到新的实体对特征;最后计算关系抽取的损失。
主权项:1.一种距离感知和多步推理的文档级关系抽取方法,其特征在于,具体包括以下步骤:步骤1:将文档进行向量化表示;具体是将文档输入基于Transformer的预训练语言模型,得到编码后的文本序列向量H;步骤2:上下文信息池化;利用注意力机制寻找文档中能够帮助关系抽取模型确定实体对关系的上下文信息向量;步骤3:利用带有距离信息的提及聚合模块,将提及之间的距离信息融入注意力机制中,并为实体的各个提及计算出聚合权重,最后将提及的向量特征聚合为实体对向量特征;步骤4:利用多步推理模块构建实体对图将步骤3中得到的实体对特征作为节点特征,利用图注意力神经网络让实体对能够感知并聚合其它实体对的特征信息以更新自身的特征,达到多步推理的效果,最后将图神经网络得到的节点特征和节点对应的实体特征融合,得到新的实体对特征;步骤5:计算关系抽取的损失,在模型的训练用于模型的反向传播,更新模型的参数。
全文数据:
权利要求:
百度查询: 东北大学 一种距离感知和多步推理的文档级关系抽取方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。