买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利一种多模态知识图谱构建方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119578526B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411654850.3，技术领域涉及：G06N5/022；该发明授权一种多模态知识图谱构建方法及装置是由方全;刘茂琦设计研发完成，并于2024-11-19向国家知识产权局提交的专利申请。

本一种多模态知识图谱构建方法及装置在说明书摘要公布了：本申请实施例提供一种多模态知识图谱构建方法及装置，包括：获取具有关联关系的图像和文本；对所述图像和文本进行特征提取，得到图像特征和文本特征；将所述图像特征和文本特征输入预先构建的知识图谱模型，利用所述知识图谱模型基于训练得到的提示向量对所述图像特征和文本特征进行多模态融合处理，得到多模态融合特征；基于所述多模态融合特征，识别多个实体及实体间的关联关系，确定多模态知识图谱的三元组。本申请通过持续学习、多模态融合与提示学习相结合的方法，优化多模态知识图谱的构建过程，适用于动态变化的知识图谱场景，能够有效提升知识图谱构建任务的性能。

本发明授权一种多模态知识图谱构建方法及装置在权利要求书中公布了：1.一种多模态知识图谱构建方法，其特征在于，包括： 获取具有关联关系的图像和文本； 对所述图像和文本进行特征提取，得到图像特征和文本特征；其中，所述图像特征包括图像全局特征、图像中观特征和图像局部特征； 将所述图像特征和文本特征输入预先构建的知识图谱模型，利用所述知识图谱模型基于训练得到的第一提示向量和第二提示向量对所述图像特征和文本特征进行多模态融合处理，得到多模态融合特征，包括： 将所述第一提示向量分别与所述图像全局特征、图像中观特征和图像局部特征相拼接，得到图像全局提示特征、图像中观提示特征和图像局部提示特征；将所述第二提示向量与所述文本特征相拼接，得到文本提示特征；利用预设的多层感知机对所述图像全局提示特征、图像中观提示特征和图像局部提示特征、文本提示特征进行维度对齐处理，得到维度对齐的图像全局提示特征、图像中观提示特征、图像局部提示特征和文本提示特征；将维度对齐的图像全局提示特征与文本提示特征相拼接，得到图像全局文本特征，将维度对齐的图像中观提示特征与文本提示特征相拼接，得到图像中观文本特征，将维度对齐的图像局部提示特征与文本提示特征相拼接，得到图像局部文本特征；利用预设的多头注意力模块分别对图像全局文本特征、图像中观文本特征、图像局部文本特征进行特征融合处理，得到融合后的图像全局文本特征、图像中观文本特征和图像局部文本特征；将所述融合后的图像局部文本特征、图像中观文本特征和图像局部文本特征相加，得到多模态融合特征； 基于所述多模态融合特征，识别多个实体及实体间的关联关系，确定多模态知识图谱的三元组。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。