买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本申请涉及知识图谱技术领域，提出了基于深度学习的知识图谱智能构建方法，包括：获取文本数据、图像数据；基于聚类簇内元素在聚类簇对应投影矩阵中投影结果之间差异确定公共语义基相似度；基于词向量、单模态数据描述子在不同模态下的一致性矩阵上投影结果的差异性以及双模语义可拓展重叠度确定模态上下文融合性；基于模态上下文融合性确定一致编码特征向量；基于对比学习的结果以及一致编码特征向量确定更新动态规划调整因子；基于更新动态规划调整因子确定每个实体节点对应的数据融合结果；基于实体节点对应的数据融合结果得到多模态知识图谱。本申请提高不同模态数据的交互性自适应确定注意力权重，提高了多模态知识图谱的语义可信度。

主权项：1.基于深度学习的知识图谱智能构建方法，其特征在于，该方法包括以下步骤：从不同数据源分别获取文本数据、图像数据；基于每个模态数据的聚类结果中每个聚类簇内每个元素在每个聚类簇对应投影矩阵中投影结果之间差异确定每个元素的公共语义基相似度；基于词向量、单模态数据描述子在不同模态下的一致性矩阵上投影结果的差异性以及词向量、单模态数据描述子之间的双模语义可拓展重叠度确定每个词语与每个目标区域之间的模态上下文融合性；基于每个聚类簇与另一模态下聚类簇内元素之间的模态上下文融合性确定每个聚类簇的一致编码特征向量；基于每种模态下聚类簇之间对比学习的结果以及聚类簇的一致编码特征向量确定每种模态的更新动态规划调整因子；采用多模态融合模型基于所有模态的更新动态规划调整因子确定初始知识图谱中每个实体节点对应的数据融合结果；基于初始知识图谱中所有实体节点对应的数据融合结果进行补全得到多模态知识图谱；所述基于每个模态数据的聚类结果中每个聚类簇内每个元素在每个聚类簇对应投影矩阵中投影结果之间差异确定每个元素的公共语义基相似度的方法为：分别利用ELMo模型、Word2vec模型获取每个文本数据序列、干净图像数据中词语的词向量、目标区域的单模态数据描述子；采用聚类算法分别基于词语的词向量、目标区域构成的无向图获取词向量、目标区域的聚类结果；对于任意一个词向量的聚类簇，将每个聚类簇中每个词向量作为矩阵中的一个行向量，将每个聚类簇内所有词向量组成的矩阵作为每个聚类簇的语义非负矩阵；对于任意一个目标区域的聚类簇，将每个聚类簇中每个目标区域的单模态数据描述子作为矩阵中的一个行向量，将每个聚类簇内所有目标区域的单模态数据描述子组成的矩阵作为每个聚类簇的语义非负矩阵；对于任意一个聚类簇，将每个聚类簇的语义非负矩阵作为输入，采用NMF算法将所述语义非负矩阵分解为一个一致性矩阵和一个投影矩阵相乘的结果；将任意一个聚类簇中每个元素与每个元素在所述聚类簇的语义非负矩阵分解结果中投影矩阵上投影结果之间的皮尔逊相关系数作为每个元素对应的内涵语义相似度；将每个元素的内涵语义相似度与每个元素所在聚类簇中所有元素对应的内涵语义相似度最小值的差值作为分子；将每个元素与其所在聚类簇内其余元素在所述聚类簇的语义非负矩阵分解结果中投影矩阵上投影结果之间位方差在所有所述其余元素上的累加结果与0.01的和作为分母；将分子与分母的比值作为每个元素的公共语义基相似度。

全文数据：

权利要求：

百度查询： 北京尚博信科技有限公司 基于深度学习的知识图谱智能构建方法