买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：贵州大学

摘要：本发明公开了基于语义及关联建模进行实体及提及增强的关系抽取方法，属于自然语言处理技术领域，包括：步骤1、利用预训练语言模型捕获文档的深层次及整体语义特征，对文档的全局语义进行抽取；步骤2、对已获取的全局语义特征进行细化；步骤3、利用动态关系感知增强机制，对构建文档图中的节点进行处理，获得丰富语义层次的结构特征；步骤4、将结构特征融入实体、提及中，生成四类对象；步骤5、将四类对象分别输入到多尺度特征增强模块中进行整合处理，生成实体对及提及对；步骤6、将步骤5生成的实体对及提及对分别输入实体对及提及对增强模块进行深度特征提取与增强；步骤7、采用前馈神经网络计算每一个实体对所属的关系类型的概率。

主权项：1.基于语义及关联建模进行实体及提及增强的关系抽取方法，其特征在于，包括以下步骤：步骤1、利用预训练语言模型捕获文档的深层次及整体语义特征，对文档的全局语义进行抽取；步骤2、对已获取的全局语义特征进行细化，细分为实体层级、提及层级以及句子层级的多种粒度的特征；然后以这些特征作为节点构建文档图，其中，表示实体嵌入，表示提及嵌入，表示句子嵌入；步骤3、利用动态关系感知增强机制，对构建文档图中的节点进行处理，获得丰富语义层次的结构特征；步骤4、将结构特征融入实体、提及中，生成以下四类对象：附带文档上下文特征的实体、体现文档结构特征的实体、包含文档上下文特征的提及以及反映文档结构特征的提及；步骤5、将步骤4生成的附带文档上下文特征的实体、体现文档结构特征的实体、包含文档上下文特征的提及以及反映文档结构特征的提及分别输入到多尺度特征增强模块中进行整合处理，生成实体对及提及对；步骤6、将步骤5生成的实体对及提及对分别输入实体对及提及对增强模块进行深度特征提取与增强；步骤7、采用前馈神经网络计算每一个实体对所属的关系类型的概率；步骤1中利用预训练语言模型捕获文档的深层次及整体语义特征，对文档的全局语义进行抽取的具体过程如下：S11、使用预先训练的SciBERT模型，从输入文档中提炼出全局语义特性；S12、将文档转化为一个具有固定维度的特征向量，以及注意力权重矩阵，具体表达式如下： ；式中，，，表示输入序列包含的token数，表示嵌入维度；步骤3中利用动态关系感知增强机制，对构建文档图中的节点进行处理，获得丰富语义层次的结构特征的具体过程如下：S31、获取动态关系感知增强机制的输入，将一个具有种不同关系类型和个节点的图作为该机制输入，在图中，第i种交互关系被映射为矩阵表示，所有关系表示被汇总为关系特征张量，表示关系的集合，表示节点数，表示关系数；对于节点特征，令表示句子节点的向量表示，其中是连接两个句子的所有标记表示的平均结果；表示实体节点的向量表示，对应于提及节点的向量表示，第i个节点特征被映射为，所有节点的表示被汇总为节点特征矩阵；S32、计算每个注意力头下的节点特征映射，计算表达式如下： ；式中，，是线性层的权重矩阵，表示输出维度；S33、计算关系注意力权重，计算表达式如下： ；式中，表示的是关系对应的线性层中特定注意力头的权重矩阵；S34、获取注意力分数，将节点特征映射与相应的关系注意力权重相互作用，计算针对各个关系的注意力分数，计算表达式如下： ； ；式中，和分别表示节点数和关系数，表示分支节点的注意力权重，表示对节点的所有输入边的归一化注意力分数；S35、获得丰富语义层次的结构特征，计算表达式如下： ；式中，是沿维度的指定大小，表示k维度的注意力分数；步骤4中附带文档上下文特征的实体的计算表达式如下： ； ；式中，表示实体的上下文注意力矩阵，表示实体数，为实体的注意力矩阵，，为可调参数；步骤4中包含文档上下文特征的提及的计算表达式如下： ； ；式中，表示提及的上下文注意力矩阵，表示提及数，表示提及注意力矩阵，；步骤5中将步骤4生成的附带文档上下文特征的实体、体现文档结构特征的实体、包含文档上下文特征的提及以及反映文档结构特征的提及分别输入到多尺度特征增强模块中进行整合处理，生成实体对及提及对的具体过程如下：S51、采用直接求和方法初步整合实体的结构特征和上下文特征，计算实体相关的自适应权重系数，计算表达式如下： ；式中，函数与分别代表语境特征与结构特征的多尺度特征增强模块；S52、分别对实体结构特征和上下文特征进行加权，生成实体对，计算表达式如下： ；S53、计算提及相关的自适应权重系数，计算表达式如下： ；S54、分别对提及的结构特征以及上下文特征进行加权，生成提及对，计算表达式如下： ；步骤6中将步骤5生成的实体对及提及对分别输入实体对及提及对增强模块进行深度特征提取与增强的具体过程如下：S61、实体对深层特征获取，对于每个单独的实体对，通过实体对及提及对增强模块及结合BiLSTM的门控机制，提取深层次的交互特征，具体公式如下： ；式中，表示增强实体的机制，表示经过增强后的实体对的深层特征；S62、实体对增强，将S61获取到的深层特征融入原始实体特征中，然后采用爱因斯坦求和约定生成增强后的实体对，记作，具体公式如下： ；S63、提及对采用与实体对增强相同的方法进行增强，具体计算表达式如下： ； ；式中，表示经过增强后的提及对的深层特征，表示增强提及的机制；步骤7中采用前馈神经网络计算每一个实体对所属的关系类型的概率的具体过程如下：S71、获取关系的初步表示，使用双曲正切函数加入了非线性特性，得到关系实例，计算表达式如下： ； ；S72、概率计算，利用前馈神经网络计算每个关系实例的概率，具体公式如下： ；式中，和为可学习参数，表示每个关系实例的概率，表示关系实例，表示最终的关系实例，表示头部实体，表示尾部实体。

全文数据：

权利要求：

百度查询： 贵州大学 基于语义及关联建模进行实体及提及增强的关系抽取方法