买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院信息工程研究所

摘要：本发明公开了一种基于多视图蒸馏增强的实体链接方法。本方法包括：1多视图实体表征：将每个实体原本篇章级的文本描述分成多个句子级的视图，对每一视图独立地经过语言模型进行编码，得到每一句子视图对应的向量表征；从中选择一个和提及最相关的视图的向量表征作为实体的向量表征，以避免与提及无关的信息被引入到实体表征中；2多视图蒸馏增强：在引入了细粒度的视图表征后，通过交叉对齐和自对齐机制，分别在原始的实体层次以及细粒度的视图层次两个维度上对齐学生模型和教师模型间的相关性分数分布，从而促进教师模型到学生模型的细粒度知识蒸馏。本发明促进了实体链接系统的整体性能的提升。

主权项：1.一种基于多视图蒸馏增强的实体链接方法，其步骤包括：1选取一训练集，所述训练集中的每一训练样本包括一个提及及其对应的K个实体{e1,e2,…,eK}作为标签，ei为第i个实体，i＝1～K；选取一交叉编码器作为教师模型，选取一包括双编码器结构的实体召回模型作为学生模型；2训练阶段，21将每一所述训练样本中每一实体ei的文本描述划分为多个片段，根据每一片段j及该训练样本中的实体名称t构成一个视图然后利用所述学生模型对视图ej的文本内容进行编码得到向量表征利用所述教师模型对视图ej的文本内容进行编码得到向量表征j＝1,2,..,n，n为训练样本的片段总数；22利用所述学生模型对该训练样本中的提及m的文本内容menc进行编码得到向量表征Em；根据提及m的向量表征Em和视图ej的向量表征计算得到提及m与视图ej的相关性分数然后计算该训练样本中提及m和实体ei之间的相关性分数然后利用所述教师模型对该训练样本中提及m的文本内容menc和实体ei的每个视图ej的文本内容进行联合编码得到特征向量并将其输入线性层进行映射得到软标签作为监督信号；利用所述教师模型对提及m的文本内容menc进行编码得到向量表征Edem，根据提及m的向量表征Edem和视图ej的向量表征计算相关性分数23计算交叉对齐损失自对齐损失其中，为学生模型计算的提及m和实体ei的代表视图ice的相关性分数经过softmax运算之后在候选实体列表{e1,e2,…,eK}上的概率分布，为教师模型计算的提及m和实体ei的代表视图ice的相关性分数经过softmax运算之后在候选实体列表{e1,e2,…,eK}上的概率分布；为学生模型计算的提及m和视图的相关性分数经过softmax运算之后在全部视图上的概率分布； 为教师模型计算的提及m和视图的相关性分数经过softmax运算之后在全部视图上的概率分布；根据学生模型编码得到的提及m和代表视图ice的向量表征计算得到相关性分数根据教师模型编码得到的提及m和代表视图ice的向量表征计算得到相关性分数24根据总损失函数Ltotal＝Lde+Lce+αLcross+βLself优化所述教师模型和学生模型；其中，Lde为利用训练样本训练学生模型的监督学习损失，Lce为利用训练样本训练教师模型的监督学习损失，α和β为权重；3应用阶段，将实体集合ε中每一实体的文本描述划分为多个片段，根据该实体的每一片段及该实体的实体名称构成一个视图，然后利用训练后的所述学生模型对所述视图进行编码得到对应视图的向量表征；对于一目标提及m’，利用训练后的所述学生模型对目标提及m’进行编码得到向量表征Em’，计算所述向量表征Em’与所述实体集合ε中每一实体所包含的每一视图的向量表征的相关性，选取多个相关性得分最高的视图的向量表征对应的实体作为目标提及m’的召回候选实体，然后根据目标提及m’的召回候选实体生成目标提及m’的实体链接。

全文数据：

权利要求：

百度查询： 中国科学院信息工程研究所 一种基于多视图蒸馏增强的实体链接方法