买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖北大学

摘要：本发明提供一种基于自监督增强用户偏好的多模态推荐方法及设备，涉及多模态推荐领域，包括：通过项目文本模态特征和项目视觉模态特征对用户特征进行丰富，获得丰富后的用户特征；通过项目文本模态特征和项目视觉模态特征构建项目‑项目图，对项目‑项目图进行模态特征的动态融合，获得项目融合特征；通过丰富后的用户特征和项目融合特征构建强化用户‑项目图，对强化用户‑项目图进行优化，获得优化后的强化用户‑项目图。本发明通过丰富后的用户特征和项目融合特征构建强化用户‑项目图，通过自监督学习的机制来优化强化用户‑项目图，通过优化后的强化用户‑项目图进行项目推荐，为推荐系统的性能和用户体验提供了重要的提升。

主权项：1.一种基于自监督增强用户偏好的多模态推荐方法，其特征在于，包括：S1：获取用户相关数据和项目相关数据，项目相关数据包括：项目文本数据和项目视觉数据；S2：对用户相关数据、项目文本数据和项目视觉数据进行特征提取，分别获得用户特征、项目文本模态特征和项目视觉模态特征；S3：通过项目文本模态特征和项目视觉模态特征对用户特征进行丰富，获得丰富后的用户特征；S4：通过项目文本模态特征和项目视觉模态特征构建项目-项目图，对项目-项目图进行模态特征的动态融合，获得项目融合特征；S5：通过丰富后的用户特征和项目融合特征构建强化用户-项目图，对强化用户-项目图进行优化，获得优化后的强化用户-项目图；S6：通过优化后的强化用户-项目图计算获得用户-项目的交互分数，通过交互分数进行项目推荐；步骤S3具体为：S31：将用户特征转化为项目偏好查询；S32：通过评估项目偏好查询与项目文本模态特征之间的相互关系和关键性，计算获得文本模态的注意力权重；S33：通过评估项目偏好查询与项目视觉模态特征之间的相互关系和关键性，计算获得视觉模态的注意力权重；S34：通过项目偏好查询、文本模态的注意力权重和视觉模态的注意力权重，计算获得丰富后的用户特征；文本模态的注意力权重的计算公式为： 其中，表示第个句子的文本模态特征，表示句子的权重矩阵，表示第一偏置项，表示第个句子的文本模态的注意力权重，表示第一非线性激活函数，N为句子的总数；视觉模态的注意力权重的计算公式为： 其中，表示第张图片的视觉模态特征，表示图片的权重矩阵，表示第二偏置项，表示第张图片的视觉模态的注意力权重，表示第二非线性激活函数，M为图片的总数；丰富后的用户特征的计算公式为： 其中，p表示用户，的丰富后的用户特征，表示综合函数，表示项目偏好查询；步骤S4具体为：S41：构建余弦相似度矩阵，通过余弦相似度矩阵计算各项目之间的相似度得分；S42：将余弦相似度矩阵转换为稀疏矩阵，通过稀疏矩阵对各项目的项目文本模态特征和项目视觉模态特征进行归一化处理，构建项目-项目图；S43：对项目-项目图进行特征和结构优化，获得优化后的项目-项目图；S44：设置查询矩阵、键矩阵和值矩阵，通过查询矩阵、键矩阵和值矩阵计算获得优化后的项目-项目图中文本模态和视觉模态之间的关系注意力权重，通过关系注意力权重和值矩阵计算获得项目融合特征；项目q的查询矩阵、键矩阵和值矩阵的计算公式为： ， ， 其中，q表示项目，表示项目文本模态特征，表示项目视觉模态特征，、和分别表示查询矩阵、键矩阵和值矩阵的可学习的权重矩阵；项目q的文本模态和视觉模态之间的关系注意力权重的计算公式为： 其中，表示查询矩阵的第行，表示键矩阵的第行，表示查询与时的文本模态和视觉模态之间的关系注意力权重，表示缩放因子；项目融合特征的计算公式为： 其中，表示项目q的项目融合特征，表示值矩阵的第行；步骤S5具体为：S51：构建初始用户-项目图F，；其中，p表示用户，q表示项目，A表示用户集合，B表示项目集合； 表示用户的丰富后的用户特征，表示项目q的项目融合特征；S52：通过丰富后的用户特征和项目融合特征对初始用户-项目图进行图卷积，获得强化用户-项目图；S53：通过负余弦相似度对强化用户-项目图进行优化，获得优化后的强化用户-项目图。

全文数据：

权利要求：

百度查询： 湖北大学 一种基于自监督增强用户偏好的多模态推荐方法及设备