买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学;江苏优车享信息科技有限公司

摘要：本发明公开了一种融合实体多维特征的基于无监督学习的实体对齐方法，所述方法包括：从实体中信息源中提取多维特征表示实体；对数据进行特征抽取，考虑模态异质性，分别得到不同模态下的嵌入结果；将多模态知识图谱的结构嵌入、视觉嵌入、实体词级与字符级嵌入、属性字符嵌入进行联合，并将多模态嵌入加权连接，集成为联合嵌入；基于联合嵌入结果，计算跨图实体之间的相似度并生成初始对齐种子；使用结构增强迭代策略对初始对齐种子进行降噪，迭代提取新的高质量实体对。本发明能有效提高初始训练与迭代训练的对齐种子的质量，从而有效提升多模态知识图谱融合时实体对齐的效率和准确率。

主权项：1.一种融合实体多维特征的基于无监督学习的实体对齐方法，其特征在于，包括以下步骤：S1，从实体的各种信息源中提取多维特征表示每个实体，所述信息源包含文本、图像以及属性；S2，对实体进行特征抽取，获得不同模态下的嵌入结果，其中，结构嵌入使用图注意力网络获得；视觉嵌入、实体名称的词级嵌入分别从预训练的、向量获得；实体名称的字符级嵌入从翻译实体名称的字符二元组获得；属性字符嵌入使用长短期记忆的递归神经网络获得；所述步骤S2实现过程如下：对于采用具有两个注意力头和两层的图注意力网络模型来获得信息源和信息源中实体的结构嵌入为： ；其中，是实体的随机初始化结构特征，和表示对角权重矩阵和图邻接矩阵；对于图片信息的视觉特征，通过在ImageNet识别任务上预训练的网络得到视觉特征；通过第一前馈层发送实体的视觉特征以获得视觉嵌入： ；其中，和是第一前馈层中的训练参数；对于实体名称的词级特征和字符级特征，通过第二前馈层进行线性变换，来获得名称和字符嵌入： ；其中，和是第二前馈层中的训练参数，和分别是来自实体名称的词级特征和字符级特征；实体名称的词级特征从预训练的向量中获得，字符级特征从翻译实体名称的字符二元组获得；对于属性的字符嵌入，使用组合函数对属性值进行编码，并将属性三元组中每个元素的关系定义为；函数使用网络将字符序列编码为单个向量；使用网络的最终隐藏状态作为属性值的向量表示： ；其中是属性值的字符嵌入；经过第三前馈层进行线性变换，得到属性的字符嵌入： ；其中和是第三前馈层中的可训练参数；S3，将结构嵌入、视觉嵌入、实体名称的词级与字符级嵌入、属性字符嵌入进行联合，得到联合嵌入，利用可训练的加权连接将多模态嵌入集成到联合嵌入；所述步骤S3实现过程如下：在联合嵌入之前，每个模态的嵌入首先通过L2归一化处理： ；其中是模态的数量，是第个模态的可训练注意力权重，函数代表自然指数函数，是第个模态的嵌入向量；S4，基于两个图中所有实体的混合特征向量，计算所有跨图实体的余弦相似度，根据所述余弦相似度生成初始实体对齐种子；S5，使用结构增强迭代策略对生成的初始对齐种子进行降噪处理，去除可能存在的错误匹配或低质量对齐。

全文数据：

权利要求：

百度查询： 南京航空航天大学 江苏优车享信息科技有限公司 融合实体多维特征的基于无监督学习的实体对齐方法