买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东科技大学

摘要：本发明提供了一种基于超图兴趣学习和语义融合的对话推荐方法，涉及会话推荐技术领域，首先构建基于知识的对比预训练编码学习模块；将历史对话会话片段作为输入，根据超图卷积网络，构建多角度超图，得到用户历史偏好；学习用户当前兴趣，得到含有知识的当前实体表示和利用超图得到的文本信息表示；从不同角度将不同粒度、不同视图之间的信息充分融合，得到最终的用户嵌入表示并获得推荐候选集；将用户历史偏好、含有知识的当前实体表示、文本信息表示以及推荐候选集，通过多层解码器与交叉注意力层，得到最终的回复语句。本发明的技术方案克服现有技术中的对话推荐方法不能学习对话信息中复杂的高阶关系、不能融合不同视图下的语义信息的问题。

主权项：1.一种基于超图兴趣学习和语义融合的对话推荐方法，其特征在于，具体包括如下步骤：S1，将当前对话作为输入，利用知识图谱KG和对比子图进行预训练构建基于知识的对比预训练编码学习模块；S2，将历史对话会话片段作为输入，根据超图卷积网络，构建基于会话的实体级超图卷积模块、基于会话的文本级超图卷积模块，以及构建基于知识的超图卷积模块，从而得到用户历史偏好；S3，将当前对话作为输入，构建基于超图的用户当前兴趣多角度学习模块，通过超图和对比子图的预训练编码器学习用户当前兴趣，得到含有知识的当前实体表示和利用超图得到的文本信息表示；S4，通过多个历史与当前的交叉注意力层、实体与文本单词的对比学习和门机制融合方法从不同角度将不同粒度、不同视图之间的信息充分融合，得到最终的用户嵌入表示；S5，将由步骤S1-S4超图卷积学习和预测得到的用户历史偏好表示、含有知识的当前实体表示、利用超图得到的文本信息表示以及最终的用户嵌入表示，通过多层解码器与交叉注意力层，得到最终的回复语句；步骤S1具体包括如下步骤：S1.1，从对话中提取实体序列，根据知识图谱找到与实体序列相连的词汇并保留实体序列与词汇之间的关系，构建出经外部知识扩充后的含有关系的扩展KG；S1.2，在扩展KG中引入对比预训练，改进KG编码器，得到基于知识的对比预训练编码学习模块；步骤S1.2包括：S1.2.1，通过重启随机游走方法生成对比子图，对比子图最终由随机游走过程中收集的顶点诱导而成；S1.2.2，构建对比样本，从同一起始顶点派生的两个子图作为相似的实例对，其他子图视为不同的实例对，具有对比关系的子图；S1.2.3，根据对比学习训练所构建的子图序列，得到改进KG编码器，对比损失公式为： ；其中，为目标子图，为目标子图的转置，为对比子图样本编码键值，为对比子图数量；若对比子图样本中存在与匹配的单个键值，则表示与匹配的键值，为超参数，代表指数函数，代表对比学习损失函数；步骤S2具体包括如下步骤：S2.1，将每一次历史对话会话中所提及到的历史实体和历史项目提取以构建超边，然后将用户在不同对话会话中所存在的相同顶点作为共享项相互连接，最终形成基于会话的实体级超图卷积模块： （1）； （2）； （3）；其中，是历史实体集在基于会话的实体级超图卷积层作用下得到的增强嵌入矩阵，代表超图卷积；对于由组成的基于会话的实体级超图，关联矩阵用表示，顶点度和边的度的对角矩阵分别用和表示，为的嵌入表示，为自注意力权重，为激活函数，为查询矩阵，为键矩阵，为值矩阵，为特征维度；步骤S2还包括如下步骤：S2.2，将每一个历史对话会话的历史文本所提到的单词作为超边，将不同对话会话中提及到的相同的顶点作为共享项相互连接，最多只取3个共享项进行连接，最终形成基于会话的文本级超图卷积模块： （4）； （5）；其中，为粗粒度下使用文本单词构建的会话级整体的文本语义信息，历史文本的嵌入表示为，对于由组成的基于会话的文本级超图，关联矩阵用表示，顶点度和边的度的对角矩阵分别用和表示；S2.3，将每个历史对话中的历史项目及其N跳邻居建模为超边，所有从历史项目派生的超边通过共享实体相互连接，共享实体形成基于知识的超图卷积模块： （6）；其中，是的基于知识的超图卷积增强的嵌入矩阵，历史项目的N跳邻居组成顶点集；对于基于知识的超图，关联矩阵用表示，顶点度和边度的对角矩阵分别用和表示，的特征表示构成嵌入矩阵。

全文数据：

权利要求：

百度查询： 山东科技大学 一种基于超图兴趣学习和语义融合的对话推荐方法