买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于知识图谱补全技术领域，提供一种基于学习邻居互信息的小样本知识图谱补全方法。包括：基于选择抽样的对比学习利用对齐度训练和均匀性训练提高相似表示邻居之间的区分度并缩短它们在向量空间中的距离，同时使得邻居表示分布更一致，防止模型过度拟合；此外使用对比损失温度控制对平衡对容易和困难负样本的处理，最后使用互信息的传播和聚合实现实体级别的互信息提取。图层面利用图注意力网络中的边散射和节点聚合技术实现了节点级别的互信息提取。推理预测中通过一个随机流形编码器来编码查询集，然后将编码结果转换为概率分布，以捕捉实体关系的不确定性，最后通过神经过程获得未知实体关系的推理结果。

主权项：1.一种基于学习邻居互信息的小样本知识图谱补全方法，其特征在于，包括以下步骤：步骤1：在知识图谱层面利用基于选择抽样的对比学习完成对实体级别邻居互信息的获取，实体级别邻居互信息获取分为；对齐度训练、均匀性训练、对比损失温度系数控制、互信息传播和互信息聚合五部分；步骤1.1：对齐度训练为了让模型将类似样本分配给类似特征编码器处理使得对齐度更高，将所有的邻居实体都作为正例进行对齐度训练，从而通过最大化所有正三元组的分数来实现对齐；对齐度训练的损失函数Lpos如下： 其中E[]为损失函数对于训练样本的期望期望值；PE.S.为目标实体集合，Ppos为目标实体本身的正样本，Pnbr为目标实体的邻居，zj、zi、z+i.d.d分别是从对应集合中采样的实体，其中zi是第i个样本的特征表示，z+i.d.d是邻居实体所充当的正样本，fx,y是样本x和y之间的相似性度量，τ是温度参数，用于控制损失函数的形状；z+是正样本，在损失函数Lpos中充当正样本参与训练；步骤1.2：均匀性训练均匀性训练中将所有的邻居实体都作为负例，只把目标实体作为正例，从而让所有邻居实体都被迫远离目标实体，让邻居表示的分布更倾向于一致，均匀性训练的损失函数Lneg如下： 其中，z-i.d.d是邻居实体所充当的负样本，在损失函数Lneg中充当对比学习负例参与训练，z-为负样本；在损失函数后添加正则函数gE对模型训练参数进行约束，防止其过度拟合训练数据；步骤1.3：对比损失温度系数控制为了让选择的正负样本更加难以区分并保留最大信息量的特征分布，通过一个响应函数来对τ实现限制，响应函数如下所示： flinx＝minβx-1+2,γifx≥1步骤1.4：互信息传播得到目标实体的邻居集合VK更新后的向量表示：VK[v1,v2,v3……vk]，然后使用softmax函数对所有邻居之间的互信息进行归一化： 其中为归一化后的实体邻居互信息，Wv是一个权重向量，捕捉邻居之间的产生的互信息对实体表示的重要程度；K是目标实体的邻居数量，是一个线性变换矩阵，它以键值对的形式存在，将临近关系表示投影到键中，将邻居语义表示投影到值中；步骤1.5：互信息聚合通过k层上下文的聚合得到目标实体的上下文信息： 其中，代表实体e在第i层聚合的上下文信息；Wsc是一个可学习的权重矩阵，用于将实体邻居产生的互信息的嵌入空间转化为和实体e相同的嵌入空间；Enc是一个编码器，用于统一输入数据的表示形式；步骤2：在图层面利用图注意力网络完成节点级别的邻居互信息提取通过步骤1得到了目标三元组头尾实体的上下文信息：头实体上下文信息dh和尾实体上下文信息dt，对于一个三元组h,r,t将其头尾实体的上下文描述表示为dhdt，其中，h表示头实体，r表示小样本任务关系，t表示尾实体；然后针对每一个实体e，使用上下文编码器将实体和它的上下文信息进行融合得到实体预训练后的表示： 其中是实体信息和上下文信息的融合表示，fc是上下文编码器，⊙是连接符；在得到预训练实体后利用它初始化知识图谱中的节点嵌入；将新的节点插入到知识图谱中并利用注意力机制实现知识增强；首先使用一个多层感知机MLP将预训练的实体表示转化为节点插入到知识图谱中，从而插入的节点嵌入被更新为其中注意到插入的节点不是单独存在于知识图谱中，节点互相连接后导致知识图谱中边的数量增加，设新生成边后边的嵌入为m代表边的数量增加到m，最后利用注意力机制来关注所有节点以提高知识的整合效果，然后使用实体信息和上下文信息的融合表示被用作查询来关注所有节点： 其中是通过注意力机制得到的增强节点表示，Dg是节点嵌入的维度，为节点嵌入的转置，更新图节点后得到增强知识图谱其中i∈[0,N]，增强知识图谱具有N+1个节点和m条边；得到增强知识图后选择使用图注意网络GAT在节点之间传播和聚合消息，通过考虑指向节点的边获得其隐藏表示hid，首先利用边散射技术和基于注意力的节点聚合方法来更新节点表示，然后通过指向节点的边进行散射，这个过程中允许节点在信息传播过程中对邻居节点进行加权聚合，最后使用注意力机制关注与节点相关性更高的邻居节点并将他们的信息聚合到当前节点的表示中，得到的隐藏表示如下所示： 其中hidi为第i个节点经过边散射和节点聚合后得到的隐藏表示，ern为节点的邻居节点，Nt代表的邻居节点；为了从更新后的节点中获得实体的高阶表示，定义一个信息聚合器，其原理是利用节点间的相互作用进行建模和聚合从而提高节点的表示，将两个相邻节点的隐藏表示进行乘法来计算相互作用： 其中是两个相邻节点间的相互作用，是增强图中的节点集，W是一个统一维度的矩阵；之后在每一层l∈[1,L]，更新vi的表示如下： 其中，是第l层多头注意力作用下更新后的节点，U是注意力头的数量，Wu是相应的线性投影矩阵，αst是注意力权重，||是多头注意力操作的连接运算符；知识增强图中的节点与知识图谱中的实体为一一对应关系，对知识增强图中的节点矩阵G′v执行一次线性变换得到知识图谱中的实体表示：Gr＝WR*G′v其中Gr是知识图谱实体表示矩阵，WR是线性变换矩阵，用于将图中的节点转化为实体，G′v是图节点表示矩阵；接下来将经过更新的节点顺序送入注意力双向LSTM中；正向和反向隐藏状态的计算如下：首先计算输入节点经过LSTM后得到的正向隐藏状态； 接着是反向隐藏状态的计算，将输入节点顺序倒序后，经过LSTM计算得到反向隐藏状态： 在第i步中，正向和反向隐藏状态分别表示为和和为第i-1步中正向和反向隐藏状态的表示，和分别代表将节点正向、反向输入到LSTM中，这些隐藏状态是通过Bi-LSTM计算得到的，其中参数矩阵分别为Ph1、Ph2、Pv1、Pv2；在每一步中，使用校正线性单位ReLU作为激活函数；对于第一步，将正向和反向隐藏状态连接到一个全局向量si中； 其中si为全局向量，为连接操作；每个最终隐藏状态的权重αi通过注意机制进行计算：αi＝softmaxsigmoidUTsi+b其中UT为权重向量，b为标量偏置参数，用于学习小样本关系的一般表示的更新节点表示的权重；最终的三元组关系表示如下： 其中r′表示支持集中所有来自K三元组的邻域表示，表示小样本任务关系r的一般表示；步骤3：推理预测经过步骤1和步骤2的操作得到了由支持集获取的小样本任务关系表示r′，在推理预测阶段则根据查询集中的头实体和r′预测正确的尾实体；首先将查询集中的实体输入到随机流形编码器中；；在编码完成后，将编码结果转换为概率分布；假设输入的编码结果为x，通过线性变换和激活函数计算得到隐变量z：z＝ReLUW1x+b1其中，ReLU是修正线性单元激活函数；然后，通过另一个线性变换计算均值μ和对数标准差σ：μ＝W2z+b2σ＝expW3z+b3W1、W2、W3是权重矩阵，用于将输入编码进行线性变换；b1、b2、b3是偏置向量，与线性变换的结果相加；接下来通过从概率分布中采样随机隐变量z，来获得不同的实体表示；采样过程中的随机性能够捕捉到实体关系的不确定性，针对查询集中的头实体及候选实体，从得到的分布中采样zhead,ztail～{Nμr,σr}，考虑到采样分布在潜在空间中是相对密集的，而在密集空间下不利于均匀划分实体嵌入，所以将学习到的嵌入表示映射到稀疏的高维空间，使用投影头层将采样分布映射到头尾实体的向量空间中，投影头层的实现是一个两层多层感知器MLP：eh＝MLPzhead,et＝MLPztail其中eh和et是采样分布通过MLP投影得到的头、尾实体表示，Zhead,Ztail为头尾实体的采样分布；最后使用欧氏距离计算查询三元组带知识图谱中的匹配程度： SMhq,r,tq为查询集中头实尾体eh、et在步骤2得到的小样本任务关系r′作用下表现出的匹配程度；将匹配程度作用在头实体与候选实体集上，根据匹配程度将正确尾实体的排名居高，错误尾实体的排名靠后，排名最高的实体将作为尾实体完成知识图谱的补全，即给定头实体h和小样本任务关系r，将候选实体中排名最高的实体t作为尾实体填入到知识图谱的三元组中。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于学习邻居互信息的小样本知识图谱补全方法