买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉贵州大学申请的专利基于多模态大语言模型的知识库构建方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120744846B 。

龙图腾网通过国家知识产权局官网在2026-01-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511228315.6，技术领域涉及：G06F18/25；该发明授权基于多模态大语言模型的知识库构建方法及装置是由黄海松;付盛伟;谌辉辉;马驰;范青松设计研发完成，并于2025-08-29向国家知识产权局提交的专利申请。

本基于多模态大语言模型的知识库构建方法及装置在说明书摘要公布了：本申请涉及知识库构建技术领域，提供一种基于多模态大语言模型的知识库构建方法及装置，该方法包括：获取多模态数据及其对应的类别标签，其中，所述多模态数据包括图像、视频、音频、点云、热成像、事件和文本中的至少一种；基于预设的提示词模板，通过多模态大语言模型生成与所述多模态数据对应的文本描述；通过预训练的文本编码器计算所生成的文本描述与对应的所述类别标签的余弦相似度；根据所述余弦相似度高于预设阈值的文本描述，构建对应类别的知识库。以此方式，实现图像、音频、点云等异构模态与文本的语义对齐，解决传统方法中模态间语义割裂的问题。

本发明授权基于多模态大语言模型的知识库构建方法及装置在权利要求书中公布了：1.基于多模态大语言模型的知识库构建方法，其特征在于，包括： 获取多模态数据及其对应的类别标签，其中，所述多模态数据包括图像、视频、音频、点云、热成像、事件和文本中的至少一种，其中，事件指通过动态视觉传感器采集的像素级亮度变化事件； 基于预设的提示词模板，通过多模态大语言模型生成与所述多模态数据对应的文本描述；其中，所述多模态大语言模型包括InstructBLIP模型和LLaMA-adapter模型，所述多模态数据对应的文本描述通过以下公式生成： ； 其中，代表多模态数据输入，是多模态数据对应的文本描述，表示多模态大语言模型的生成函数，所述生成函数根据预训练的多模态编码器进行训练，所述预训练的多模态编码器包括所述InstructBLIP模型的冻结的视觉编码器和LLaMA-adapter模型的跨模态适配层对应的基础编码器； 所述多模态大语言模型的生成函数的训练过程包括： 基于所述预训练的多模态编码器，将所述多模态数据与其对应的文本描述输入对比学习框架，通过优化对比学习损失函数以对齐所述多模态数据的嵌入空间； 冻结预训练所述视觉编码器和文本编码器的主体参数，仅训练由跨模态注意力模块或查询变换器组成的轻量级适配层，最小化文本描述与真实类别标签之间的交叉熵损失； 将对比学习损失和交叉熵损失加权确定总损失函数，并通过反向传播算法联合优化适配层参数，直至模型收敛； 所述通过优化对比学习损失函数以对齐所述多模态数据的嵌入空间，包括： 将输入的多模态数据映射至中间特征表示； 通过参数化映射函数将各模态中间特征投影至共享语义空间，形成直接比较的语义表示； 基于数据关联关系构建正负样本对，其中，正样本对包括语义一致的跨模态数据，负样本对包含语义不一致的跨模态数据； 通过最大化正样本对相似度、最小化负样本对相似度，优化对比学习损失函数以实现多模态嵌入空间对齐； 通过CLIP的文本编码器或BERT计算所生成的文本描述与对应的所述类别标签的余弦相似度； 根据所述余弦相似度高于预设阈值的文本描述，构建对应类别的知识库； 所述通过多模态大语言模型生成与所述多模态数据对应的文本描述包括： 对图像、事件和热成像模态数据，通过InstructBLIP模型冻结的视觉编码器和轻量级QueryingTransformer生成文本描述； 对音频、视频和点云模态数据，通过LLaMA-adapter模型的跨模态适配层，将非文本模态特征映射至语言模型嵌入空间后生成文本描述。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人贵州大学，其通讯地址为：550025 贵州省贵阳市花溪区贵州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。