买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及个性化推荐技术领域，公开了一种基于模态解耦的知识蒸馏多模态推荐方法，对于特定的用户，完成训练的多模态推荐模型能够推荐物品；多模态推荐模型的训练过程包括：提取物品的文本信息对应的文本特征，提取物品的图片信息对应的视觉特征；将文本特征分别经过文本教师网络和文本学生网络；将视觉特征经过视觉教师网络和视觉学生网络；然后经过注意力机制、对比学习、知识蒸馏等技术，实现多模态推荐模型的训练。教师网络利用丰富的语义信息进行监督学习，从而更全面地捕获多模态数据，通过知识蒸馏，教师网络中的信息被平滑地传递给学生网络，有效地解决了推荐系统中的数据稀疏问题。

主权项：1.一种基于模态解耦的知识蒸馏多模态推荐方法，其特征在于，通过完成训练的多模态推荐模型为特定的用户推荐物品；多模态推荐模型的训练过程包括：步骤一，提取物品的文本信息对应的文本特征，提取物品的图片信息对应的视觉特征；第个物品的语义标签向量为；步骤二，将文本特征分别经过文本教师网络和文本学生网络；文本教师网络通过深度神经网络提取文本高阶信息；文本学生网络通过浅层神经网络分别提取文本模态全信息和文本跨模态相似信息后进行减法运算，得到文本模态特定信息；将输入到分类器一，得到第一向量，基于和的构造损失一；步骤三，将视觉特征经过视觉教师网络和视觉学生网络；视觉教师网络通过深度神经网络提取视觉高阶信息；视觉学生网络通过浅层神经网络分别提取视觉模态全信息和视觉跨模态相似信息后进行减法运算，得到视觉模态特定信息；将输入到分类器二，得到第二向量，基于和的构造损失二；步骤四，通过注意力机制对和进行加权融合，得到多模态融合向量，将经输入到分类器三得到第三向量，基于和构造损失三；将和分别经过分类器四和分类器五，得到第四向量和第五向量；对和进行约束以使和的距离减小；对和进行约束以使和的距离增大；基于定义损失六；将分别经过多层感知机，得到视觉变换跨模态相似信息、文本变换跨模态相似信息、文本变换全信息、视觉变换全信息、文本变换特定信息、视觉变换特定信息，基于定义损失七；基于和的距离以及和的距离构造损失四，基于和的距离以及和的距离构造损失五；步骤五，将和输入到基础推荐模型，得到用户对第个物品的预测打分结果，基于和用户对第个物品的实际打分标签的交叉熵损失构造基础推荐模型的损失；基于构造总损失；通过对基础推荐模型、文本教师网络、文本学生网络、视觉教师网络、视觉学生网络、分类器一至分类器五，以及多层感知机进行训练；视觉学生网络、文本学生网络和基础推荐模型组成所述的完成训练的多模态推荐模型。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于模态解耦的知识蒸馏多模态推荐方法