买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明涉及一种基于多层四轴注意力机制和伪文档的文档级关系抽取方法。该方法包括：首先提出了多层四轴注意力机制编码实体对上下文，具体包括：将实体对上下文设计成实体对表，接着将实体对es,eo与实体对es,eo所在的横轴上的实体对ei,eo以及所在纵轴上实体对es,ei进行注意力机制求和，再将实体对es,eo与实体对eo,es所在横轴上实体对ei,es以及所在纵轴上实体对eo,ei进行注意力机制求和，交互实体对之间的信息，帮助关系推理。其次使用证据抽取的证据句子与通过自定义规则所抽取的句子组合成伪文档，并使用伪文档进行推理，将推理结果与原文档推理结果进行融合，进一步提升关系抽取性能。本发明在DocRED，CDR和GDA三个广泛使用的基准数据集上评估模型。实验结果表明该模型的性能优于现有模型，关系抽取F1指数有较大的提升。

主权项：1.一种基于多层四轴注意力机制和伪文档的文档级关系抽取方法，首先提出了多层四轴注意力机制编码实体对上下文，具体包括：将实体对上下文设计成实体对表，接着将实体对es,eo与实体对es,eo所在的横轴上的实体对ei,eo以及所在纵轴上实体对es,ei进行注意力机制求和，再将实体对es,eo与实体对eo,es所在横轴上实体对ei,es以及所在纵轴上实体对eo,ei进行注意力机制求和，交互实体对之间的信息，帮助关系推理；其次使用证据抽取的证据句子与通过自定义规则所抽取的句子组合成伪文档，并使用伪文档进行推理，将推理结果与原文档推理结果进行融合，进一步提升关系抽取性能，该方法包括以下步骤：步骤1：使用预训练模型bert编码原文档，获得上下文嵌入；步骤2：通过注意力机制与不同共现，生成关系特定的实体表示并与池化得到实体嵌入相加得到关系增强的实体表示ei；步骤3：使用本地上下文池化获得实体对相关的上下文；步骤4：将实体对相关上下文转化为实体对上下文矩阵；步骤5：将实体对上下文矩阵基于多层四轴注意力机制进行注意力机制计算；步骤6：将逻辑推理后的实体对上下文与实体嵌入拼接，并送入到分类器进行预测，得到原文档预测分数；步骤7：将通过证据抽取的证据与通过自定义规则所抽取的句子组合成伪文档，将伪文档同样进行步骤1至步骤6的推理过程，得到伪文档预测分数，并融合原文档预测分数，预测实体对的关系。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于多层四轴注意力机制和伪文档的文档级关系抽取方法