买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东北大学

摘要：本发明提供一种基于知识增强的深度强化学习交互式推荐系统及方法，涉及推荐技术领域。本系统包括数据采集清洗模块、环境模拟器构建模块、知识图谱构建模块、图卷积模块、用户状态表示模块、策略网络模块和值网络模块。本发明结合知识图谱中丰富的语义信息，利用图卷积网络结构，沿着高阶连通性递归地传播相邻实体的嵌入表示，并采用图注意力网络思想，利用知识图谱中丰富的语义信息增强项目表示，同时又融合了用户‑项目二部图，从集体的用户行为充分挖掘潜在关系，从而准确捕捉用户的动态偏好，并利用深度强化学习自主学习最优推荐策略，从而提高推荐准确度。

主权项：1.一种基于知识增强的深度强化学习交互式推荐系统，其特征在于，包括数据采集清洗模块、环境模拟器构建模块、知识图谱构建模块、图卷积模块、用户状态表示模块、策略网络模块和值网络模块；所述数据采集清洗模块用于采集清洗系统中产生的历史交互记录，历史交互记录包括用户信息、交互记录中的交互项目信息，经过数据清洗操作后对剩余数据进行存储；所述用户信息为用户的ID，所述交互项目信息包括项目ID，交互项目的评分以及交互的时间；所述环境模拟器构建模块根据用户与项目的历史交互信息，构建交互式推荐模拟器来模拟在线环境，即根据相应推荐的反馈来模拟奖励，并将顺序奖励与原始奖励相结合，作为最终的奖励值；所述知识图谱构建模块用于根据用户与项目的历史交互信息，构建用户-项目二部图以及根据项目的属性信息构建项目-属性知识图谱，并将用户-项目二部图和项目-属性知识图谱两者组成统一的图；所述图卷积模块包括两部分，分别为语义特征的提取以及结构特征的提取与融合；所述语义特征的提取通过知识图谱嵌入方法将实体和关系参数化为向量表示；所述实体包括用户、项目以及项目的属性信息，关系参数为用户、项目以及项目的属性信息之间存在的联系；所述结构特征的提起与融合，是利用图卷积的邻域传播机制提取结构特征，并结合图注意力网络的思想，根据重要度将邻居节点信息聚合到目标实体中，从而获得项目的嵌入表示；所述用户状态表示模块通过采用自注意力机制捕获项目之间的长期语义，提取用户的状态嵌入表示；所述策略网络模块将当前观测的用户状态嵌入表示作为输入，输出基于当前的用户状态所生成的动作向量以及推荐的项目；所述值网络模块，将当前的用户状态以及所生成的动作向量作为输入，负责对当前生成的动作向量进行评估，从而根据评估结果对当前推荐方法进行调整。

全文数据：

权利要求：

百度查询： 东北大学 基于知识增强的深度强化学习交互式推荐系统及方法