买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明涉及一种基于多头注意力和图卷积网络结合R‑Drop机制的生物医学关系抽取方法、装置和介质，要点是包括以下步骤：1构建医学语料的关系实例，2构建句法依存树，3使用BERT预训练模型和多头注意力提取文本的加权上下文语义表示，4使用ELMo预训练模型和图卷积网络结合句法依存树提取文本的结构化表示，5使用解码器对特征表示进行解码，6使用R‑Drop机制对神经网络进行正则化，最终得到关系类别。效果是使用端到端的训练方法，可以自动学习医学文本中的语义特征和结构特征；引入R‑Drop机制，提升模型的泛化性能；在不引入外部知识的情况下，取得了较强的关系抽取性能。

主权项：1.一种基于多头注意力和图卷积网络结合R-Drop机制的生物医学关系抽取方法，其特征在于，包括以下步骤：通过启发式规则对篇章级医学语料构造医学实体关系的句子内和句子间实例；通过BERT预训练模型和多头注意力网络与关系表示交互提取文本的加权上下文语义特征表示；通过ELMo预训练模型、图卷积网络、句法依存树提取文本的结构化特征表示；拼接提取的语义特征表示和结构化特征表示并通过解码器进行解码；使用R-Drop正则化对网络进行增强得到生物医学关系类别；其中：提取文本的加权上下文语义特征表示具体为：a多头注意力模块的输入用BERT预训练语言模型作为输入表示，输入表示由公式1进行描述：w1＝[wBERT；wPOS；wdis]1wBERT为BERT对输入文本进行编码后的表示，wPOS为词性标注嵌入表示文本中的词性信息，wdis为位置嵌入表示实体在文档中的位置；b使用Bi-LSTM对输入表示进行前向和后向编码，最终的文本表示为两个状态的拼接，由公式2进行描述： 为前向LSTM的隐状态，为后向LSTM的隐状态；c将关系向量表示为尾实体和头实体向量的差值，由公式3表示：hrelation＝htail-hhead3htail为尾实体经过Bi-LSTM编码后的输出向量，hhead为头实体经过Bi-LSTM编码后的输出向量；d通过多头注意力网络将经过Bi-LSTM编码的文本表示和关系向量进行交互，对于每一个注意力头使用归一化放缩点积注意力机制计算相关度，由公式4表示： 其中Q,K,V∈Rn×d表示查询和键值矩阵，在多头注意力网络中的查询是由Bi-LSTM的输出ht和权重矩阵Wq相乘得到，表示为文本序列，键和值是由关系向量hrelation分别与权重矩阵Wk和Wv相乘得到，d是Bi-LSTM模型输出的维数，是放缩因子；e将n个头的结果连接起来作为多头注意力层的输出表示作为加权上下文语义特征表示，由公式5描述：hatt＝[h1；h2；…；hn]5h1,h2,…,hn为n个注意力头的输出表示。其中：通过R-Drop机制对神经网络进行正则化得到更精确的生物医学关系类别：通过R-Drop机制修改损失函数为整个神经网络训练两次计算的交叉熵损失与双向KL散度正则化结合的损失函数，由公式13、14、15描述： L＝LCE+αLKL15P1yi|xi和P2yi|xi表示两次前向计算得到的两个子模型分别预测的概率分布，DKL为KL散度计算函数，LCE为网络训练两次得到平均交叉熵损失，LKL为网络训练两次得到的两个子网络之间的双向KL散度损失，α是用于调节KL散度正则的权重系数，经过R-Drop机制正则化之后，最终获取更精确的关系类型。

全文数据：

权利要求：

百度查询： 大连理工大学 基于多头注意力和图卷积网络结合R-Drop机制的生物医学关系抽取方法、装置和介质