买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利基于模态层次融合的多模态知识图谱补全方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119089992B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411113918.7，技术领域涉及：G06N5/022；该发明授权基于模态层次融合的多模态知识图谱补全方法是由汪璟玢;黄皓;张思锐设计研发完成，并于2024-08-14向国家知识产权局提交的专利申请。

本基于模态层次融合的多模态知识图谱补全方法在说明书摘要公布了：本发明提出基于模态层次融合的多模态知识图谱补全方法，使用多模态知识图谱补全模型MHF来引入视觉特征和文本特征，模型包括：独立学习层：从多个模态分割的数据集的知识图谱独立学习结构嵌入、视觉嵌入、文本嵌入，同时采用缩放因子调整外部特征的规模；模态融合层：将结构特征分别与视觉特征和文本特征融合，得到两种融合嵌入，纳入最终的损失计算；语义约束层：通过因子交互正则化器对前述五种嵌入进一步处理，处理过程产生的额外的五个正则化损失项，计算在最终损失中；本发明通过整合结构数据与外部数据，从而更合理地应用视觉数据和文本数据，有效地提高了模型的表达能力，为知识图谱中实体的全面性和准确性表示提供了新的思路。

本发明授权基于模态层次融合的多模态知识图谱补全方法在权利要求书中公布了：1.基于模态层次融合的多模态知识图谱补全方法，能用于补全或增强多模态数据集的知识图谱，其特征在于：所述补全方法使用基于模态层次融合的多模态知识图谱补全模型MHF来引入视觉特征和文本特征，所述多模态知识图谱补全模型MHF包括： 独立学习层：从多个模态分割的数据集的知识图谱独立学习结构嵌入xs、视觉嵌入xv、文本嵌入xt，同时采用缩放因子调整外部特征的规模； 模态融合层：将结构特征分别与视觉特征和文本特征融合，得到两种融合嵌入，纳入最终的损失计算； 语义约束层：通过因子交互正则化器对前述五种嵌入进一步处理，处理过程产生的额外的五个正则化损失项，计算在最终损失中； 所述多个多模态数据集的信息领域包括地理、人物、公司、音像作品、药品，以其包含的实体的数值特征和图像信息为多模态知识图谱补全模型学习提供数据资源，各多模态数据集知识图谱之间，存在大量的实体指向同一实体的关联关系，多模态知识图谱补全模型MHF从该类关联关系中获取所需的先验知识信息；多模态知识图谱补全模型通过模态融合层，将不同结构模态、文本模态、视觉模态的信息整合起来； 模态融合层的核心组件包括特征融合网络，该网络通过结合结构嵌入和文本嵌入，以及结构嵌入和图像嵌入，得到两种融合嵌入；使用xm代表某种模态的嵌入xm中包含模态m中的实体嵌入和关系嵌入；当融合结构嵌入x3和图像嵌入xv时，融合网络的计算过程为，基于ComplEx模型，将结构嵌入x3和图像嵌入xv拆分成实部和虚部分别进行融合；首先，定义一个简单的顺序连接模块S： Sx＝σBNLinearDropoutx，p公式5； 公式中，对输入向量x应用概率为p的随机失活层，p是超参，根据模型需要进行调整；Linear是全连接层，BN为批量归一化层BatchNorm1D，激活函数σ选择ReLU；顺序连接模块支持多层堆叠方式，结构嵌入和图像嵌入的实部或虚部经过顺序连接模块后，通过逐元素乘法进行融合，再通过激活函数以确保非线性和正激活；过程重复l次，多层模块融合的过程如下： 其中，Re·代表取实部操作，Im·代表取虚部操作，下标re代表是嵌入的实部，下标im代表是嵌入的实部，l代表顺序连接模块的堆叠层数，⊙表示逐元素相乘，激活函数σ选择ReLU；将融合嵌入的实部和虚部拼接后，得到完整的融合嵌入xsv，公式为： xsv＝[xsv，re；xsv，im]公式8； 式中的分号代表拼接操作； 若图像嵌入和文本嵌入在融合前的独立学习层均已经经过缩放处理，则与结构嵌入的两种融合形式，即分别与文本嵌入和图像嵌入相结合的嵌入方式，无需再进行额外的缩放操作；将结构嵌入和文本嵌入融合，将结构嵌入和图像嵌入融合，其得到的两种融合嵌入进行预测时需加入至损失的计算中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。