买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：季华实验室

摘要：本发明涉及多模态数据应用技术领域，公开了一种基于语义的跨模态知识联想方法、装置、设备及存储介质。该方法包括：获取跨模态知识及其对应的语言描述作为语义跨模态数据集；构建跨模态知识联想模型，跨模态知识联想模型包括语义mask子模型和融合变换因子生成子模型，语义mask子模型用于对语义跨模态数据集进行遮罩处理生成与语言描述最相关的部分数据，融合变换因子生成子模型用于对语义跨模态数据集进行处理生成变换因子；将语义跨模态数据集输入经过训练的跨模态知识联想模型中，输出符合语言描述的跨模态知识联想。本发明方法能够实现将最符合模型当前任务的跨模态知识联想用于下游任务，大幅提升深度学习模型面对跨模态任务的泛化能力。

主权项：1.一种基于语义的跨模态知识联想方法，其特征在于，包括步骤：获取跨模态知识及其对应的语言描述作为语义跨模态数据集；构建跨模态知识联想模型，所述跨模态知识联想模型包括语义mask子模型和融合变换因子生成子模型，所述语义mask子模型用于对所述语义跨模态数据集进行遮罩处理生成与语言描述最相关的部分数据，所述融合变换因子生成子模型用于对所述语义跨模态数据集进行处理生成变换因子；所述跨模态知识联想模型在训练时包括融合变换因子生成子模型的训练，所述融合变换因子生成子模型的训练包括步骤：随机从语义跨模态数据集样本中取一个样本，称为目标跨模态知识联想输入，其包括语言描述标签和跨模态知识；将样本中的语言描述标签拆分为关键词集合{Ki}，Ki表示第i个关键词，i为正整数，使用训练后的语义mask子模型为每个关键词生成所述目标跨模态知识联想输入的遮罩合集{Mi}，使用遮罩将所述目标跨模态知识联想输入进行分割获得分割合集{Ui}，生成随机变换因子集合{Ai}对分割合集{Ui}中每个元素进行随机缩放、平移、旋转和强度变换得到变换后的合集{Ti}；构建深度学习模型以语言输入、变换后的合集中的元素Ti、变换前的合集中的元素子集U*i作为输入，生成变换因子输出A’i，所述元素子集U*i是从{Ui}中抽取的元素构成子集{u*i}并进行合并得到；对每个元素Ti预测，得到变换因子合集{A’i}，通过所述变换因子合集{A’i}对{Ti}进行融合，得到跨模态联想输出，通过目标跨模态知识联想输入和跨模态联想输出间的差异计算融合变换因子生成子模型参数的损失，从而使用优化器对融合变换因子生成子模型进行训练；将所述跨模态知识及其对应的语言描述输入经过训练的跨模态知识联想模型中，输出符合语言描述的跨模态知识联想。

全文数据：

权利要求：

百度查询： 季华实验室 基于语义的跨模态知识联想方法、装置、设备及存储介质