买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于特征冗余去除的图神经网络多模态推荐方法及系统，本发明包括将用户与项目的交互数据利用图神经网络多模态推荐模型执行推荐：从用户与项目的交互数据中提取多模态特征，利用图神经网络编码器进行基于交互的协同过滤、基于模态的协同过滤再融合得到用户和项目的局部嵌入向量；并将多模态特征利用特征过滤器过滤生成全局嵌入向量；将局部嵌入向量和全局嵌入向量融合得到用户和项目的最终嵌入向量再计算用户对项目的偏好得分并生成推荐结果。本发明旨在实现用户行为和多模态内容信息高效融合，去除冗余特征的同时保留协同信号以提升表达能力，从而提升图神经网络的多模态推荐性能。

主权项：1.一种基于特征冗余去除的图神经网络多模态推荐方法，其特征在于，包括将用户与项目的交互数据利用图神经网络多模态推荐模型基于下述步骤来获取用户的推荐结果：S1，从用户与项目的交互数据中提取用户嵌入特征、项目嵌入特征以及项目的多模态特征，所述项目的多模态特征包括文本嵌入特征和图像嵌入特征；S2，将用户嵌入特征、项目嵌入特征、文本嵌入特征和图像嵌入特征利用图神经网络编码器进行基于交互的协同过滤、基于模态的协同过滤再融合得到用户和项目的局部嵌入向量；将项目嵌入特征、文本嵌入特征和图像嵌入特征利用特征过滤器过滤噪声，并结合可学习的转换向量、邻接矩阵生成用户和项目的全局嵌入向量；S3，将用户的局部嵌入向量和全局嵌入向量融合得到用户的最终嵌入向量，将项目的局部嵌入向量和全局嵌入向量融合得到项目的最终嵌入向量；S4，根据用户的最终嵌入向量、项目的最终嵌入向量计算得到用户对项目的偏好得分，对所有项目的偏好得分进行排序，选择偏好得分靠前的指定数量K个项目作为用户的推荐结果输出；步骤S2中将用户嵌入特征、项目嵌入特征、文本嵌入特征和图像嵌入特征利用图神经网络编码器进行基于交互的协同过滤、基于模态的协同过滤再融合得到用户和项目的局部嵌入向量的函数表达式为： ，其中，为用户和项目的局部嵌入向量，为用户和项目的局部协同嵌入向量，为标准化函数，为视觉模态或者文本模态，为视觉模态和文本模态的集合，为用户和项目的局部模态嵌入向量；所述用户和项目的局部协同嵌入向量的获取包括：1）根据用户与项目的交互数据构建用户和项目的交互矩阵R，交互矩阵R的行为用户ID、列为项目ID，当用户u与项目i有交互时，对应位置为1，否则对应位置为0；将交互矩阵R转换为二部图形式的交互图G，并根据用户与项目的交互数据构建各个模态下的用户和项目的交互矩阵并转换为二部图形式的交互图以生成基于模态的交互图；将初始嵌入矩阵设置成，其中为用户嵌入特征，利用交互图G上的消息传播机制捕获用户和项目的高阶连接，任意第层的协同图传播函数的函数表达式为： ，其中，为第层的输出的嵌入矩阵，为轻量级卷积神经网络，为第层的输出的嵌入矩阵，为从用户与项目的交互数据的交互矩阵中构建的邻接矩阵，表示的度矩阵，度矩阵的每一个对角线元素表示邻接矩阵的第行非零元素个数；2）将初始嵌入矩阵和所有输出的嵌入矩阵根据下式组合得到用户和项目的局部协同嵌入向量： ，其中，表示组合；所述用户和项目的局部模态嵌入向量的获取包括：1）分别将项目嵌入特征根据下式转换为项目的低维模态特征和用户的低维模态特征： ， ，其中，为转换后得到的第i个项目的低维模态特征，为转换函数，为第i个项目的项目嵌入特征，为变换矩阵，为转换后得到的用户u的低维模态特征，为用户在用户和项目的交互图中的邻居的集合的大小，为用户集合，为视觉模态或者文本模态；2）将项目的低维模态特征和用户的低维模态特征进行组合为组合特征： ，其中，~分别为转换后得到的用户~的低维模态特征，~分别为转换后得到的项目~的低维模态特征；3）将初始嵌入矩阵设置成，利用基于模态的交互图上的消息传播机制捕获用户和项目的高阶连接，任意第+1层的模态图传播函数的函数表达式为： ，其中，为模态m的第+1层的输出的嵌入矩阵，为轻量级卷积神经网络，为模态m的第层的输出的嵌入矩阵，为从用户与项目的交互数据的交互矩阵中构建的邻接矩阵，表示的度矩阵；4）将初始嵌入矩阵和所有输出的嵌入矩阵根据下式组合得到用户和项目的局部模态嵌入向量： ，其中，表示组合；步骤S2中将项目嵌入特征、文本嵌入特征和图像嵌入特征利用特征过滤器过滤噪声，并结合可学习的转换向量、邻接矩阵生成用户和项目的全局嵌入向量包括：1）根据下式将项目嵌入特征映射到一个中等维度并转换成高阶特征： ，其中，为高阶特征，为可训练的转换矩阵，的维度为，其中为最终嵌入向量的维度，为模态特征嵌入的维度，为可训练的偏置向量，，为视觉模态或者文本模态；2）根据下式所示的特征过滤器将高阶特征映射到一个低维空间以过滤掉部分噪声： ，其中，为映射到低维空间后的特征，为门控函数，为用户嵌入特征，为高阶特征，表示元素级乘积，为激活函数，为可训练的转换矩阵，为可训练的偏置向量；3）引入维度为B的可学习转换向量，其中任意第a个维度的可学习转换向量，将映射到低维空间后的特征根据下式融合获取含有模态特征的项目表示信息： ，其中，为B个维度的可学习转换向量组成的矩阵；4）将含有模态特征的项目表示信息与从用户与项目的交互数据的交互矩阵中构建的邻接矩阵根据下式进行特征级融合得到含有模态特征的用户表示信息： ；5）将含有模态特征的项目表示信息与含有模态特征的用户表示信息分别根据下式进行Gumbel-Softmax激活函数重新参数化，得到增强的项目属性依赖矩阵和增强的用户属性关系矩阵： ， ，其中，为增强的项目属性依赖矩阵的第i行向量的重新参数化的结果，为Gumbel-Softmax激活函数，为噪声向量，噪声向量中的任意第j个值服从分布，为温度超参数，为增强的用户属性关系矩阵的第i行向量的重新参数化的结果；6）将增强的项目属性依赖矩阵和增强的用户属性关系矩阵根据下式计算得到用户和项目的全局嵌入向量： ， ， ， ，其中，为项目在第+1层的模态下的嵌入，为随机丢弃层dropout，用于通过随机丢弃一些神经元防止神经网络过拟合，为项目在第层的模态下的嵌入，为用户在第+1层的模态下的嵌入，为项目在第+1层的模态下的嵌入，为在模态下串联用户最终嵌入和项目最终嵌入的嵌入，上标中的表示位于神经网络的第层，为在模态下串联用户最终嵌入，为在模态下串联项目最终嵌入，为视觉或者文本模态，为视觉模态和文本模态的集合。

全文数据：

权利要求：

百度查询： 湖南师范大学 基于特征冗余去除的图神经网络多模态推荐方法及系统