买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东浪潮科学研究院有限公司

摘要：本发明涉及深度学习以及自然语言理解领域，特别是涉及一种基于知识表示和动态提示的多模态模型知识更新方法，本发明公开了通过从预先构建的知识库中选择知识数据作为保留知识数据样本，并基于已标注的新增知识数据与知识数据样本，构建更新数据集，对训练集中的知识数据进行向量化处理，以生成统一维度的训练知识数据向量，基于生成统一维度的训练知识数据向量，对已经对优化器进行初始化的多模态模型进行多轮训练，以更新多模态模型和知识库，实现新旧知识数据的整合，有助于保持模型的持续学习能力。

主权项：1.一种基于知识表示和动态提示的多模态模型知识更新方法，其特征在于，包括以下步骤：步骤一：收集新增多粒度知识数据，并对新增多粒度知识数据进行标注；步骤二：从知识库中选择与新增多粒度知识数据相关的多粒度知识数据作为保留知识数据样本；步骤三：基于已标注的新增知识数据与保留多粒度知识数据样本，构建更新知识数据集，并将更新知识数据集分为训练集和验证集；步骤四：对训练集中的多粒度知识数据进行向量化处理，以生成统一维度的训练知识数据向量；步骤五：对优化器进行初始化；步骤六：基于生成统一维度的训练知识数据向量，对已经完成初始化优化器的多模态模型进行多轮训练，以更新多模态模型和知识库；其中，所述步骤六包括：基于生成的统一维度的训练知识数据向量，使用元控制器生成动态提示向量；所述基于生成的统一维度的训练知识数据向量，使用元控制器生成动态提示向量包括：对生成的统一维度的训练知识数据向量进行融合和交互，以得到融合训练知识数据向量；基于融合训练知识数据向量，生成动态提示向量；所述基于融合训练知识数据向量，生成动态提示向量包括：对融合训练知识向量进行编码，以得到编码后的融合训练知识向量；对得到的编码后的融合训练知识向量进行处理，以生成潜在向量；基于潜在向量以及不同的任务，输出动态提示向量；所述对生成的统一维度的训练知识数据向量进行融合和交互，以得到融合训练知识数据向量包括：将所生成的统一维度的训练知识数据向量输入到具有多头交叉注意力层和Transformer-XL架构的模型中，其中，多头交叉注意力层用于以对所生成的统一维度的训练知识数据向量中的不同模态的知识数据向量进行融合和交互，以得到融合训练知识数据向量；Transformer-XL架构用于捕捉已融合训练知识数据向量中各模态知识数据向量之间的长距离依赖关系和复杂模式；所述基于融合训练知识数据向量，生成动态提示向量包括：使用Transformer构造的条件变分自编码器对融合训练知识数据向量进行处理，以生成动态提示向量，其中，Transformer构造的条件变分自编码器包括编码器、潜在空间映射和解码器。

全文数据：

权利要求：

百度查询： 山东浪潮科学研究院有限公司 一种基于知识表示和动态提示的多模态模型知识更新方法