买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：联通在线信息科技有限公司

摘要：本发明属于人工智能技术领域，提供一种基于RAG与知识图谱的多轮对话处理方法和系统。该方法包括：根据专有知识图谱，对与用户问题相关联的实体进行检索识别，得到关联实体，以构建推理链路，并转换为推理文本序列；通过多模态大模型检索与用户问题相关的文本、图片、音频数据，得到相关多模态数据；将相关多模态数据、当前推理文本序列、用户问题与所生成的回答文本进行整合后作为模型输入，输入多模态大模型，得到模型回答；筛选出相关的多模态数据，以所筛选出的多模态数据作为上下文、待处理问题一起作为多模态大模型的模型输入，得到与待处理问题相对应的回答文本。本发明能在减少交互的同时，有效将用户意图与回答文本对齐。

主权项：1.一种基于RAG与知识图谱的多轮对话处理方法，其特征在于，包括：步骤S101：获取当前用户的用户问题，基于所述用户问题，多模态大模型生成回答文本；步骤S102：对用户问题和所生成的回答文本进行实体识别，得到与用户问题相关联的实体；步骤S103：根据专有知识图谱，对所述与用户问题相关联的实体进行检索识别，得到关联实体，或者向客户端返回重新输入的响应信息；步骤S104：根据所得到的关联实体和专有知识图谱，构建推理链路，并将所述推理链路转换为推理文本序列；步骤S105：基于所述推理文本序列与所述用户问题，通过多模态大模型检索与所述用户问题相关的文本、图片、音频数据，得到相关多模态数据；步骤S106：将相关多模态数据、当前推理文本序列、用户问题与所生成的回答文本进行整合后作为模型输入，输入所述多模态大模型，得到与所述用户问题相对应的模型回答，并将所述用户问题及其模型回答放入历史对话列表中；步骤S107：接收当前用户的待处理问题，从所述历史对话列表中筛选与所述待处理问题相关的多模态数据，当未筛选出与所述待处理问题相关的多模态数据时，重复执行步骤S101～步骤S106；当筛选出与所述待处理问题相关的多模态数据时，进入步骤S108；步骤S108：以所筛选出的多模态数据作为上下文并与所述当前用户的待处理问题一起作为所述多模态大模型的模型输入，重复执行步骤S101～步骤S103，以得到与待处理问题相对应的回答文本。

全文数据：

权利要求：

百度查询： 联通在线信息科技有限公司 一种基于RAG与知识图谱的多轮对话处理方法和系统