买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：小哆智能科技(北京)有限公司

摘要：本发明提供基于交互学习的垂类政务大模型服务方法及系统，涉及大模型技术领域，包括获取每个垂类领域的政务数据和用户查询日志数据，构建垂类领域的本体知识库，基于所述本体知识库，通过构建多类型节点和多关系边的图数据结构，生成图谱化的垂类知识库；通过掩码语言建模和次级语言建模，得到具备垂类领域知识的垂类语言模型，得到融合了垂类知识库的垂类政务大模型；获取用户输入的自然语言政务查询，通过垂类政务大模型对自然语言政务查询进行理解和语义解析，并结合图谱化的垂类知识库进行知识推理和问题回答生成，得到满足用户查询需求的自然语言回复。

主权项：1.基于交互学习的垂类政务大模型服务方法，其特征在于，包括：获取每个垂类领域的政务数据和用户查询日志数据，对所述政务数据进行清洗、标注和结构化处理，构建垂类领域的本体知识库，基于所述本体知识库，通过构建多类型节点和多关系边的图数据结构，结合多条关系路径和关系路径相似度的注意力节点聚合过程，捕捉多类型节点之间的语义关联，生成图谱化的垂类知识库；利用预训练语言模型对所述政务数据进行学习，通过掩码语言建模和次级语言建模，得到具备垂类领域知识的垂类语言模型；利用所述垂类知识库中的结构化知识对所述垂类语言模型的参数进行微调并将所述垂类知识库中的结构化知识融入所述垂类语言模型，得到融合了垂类知识库的垂类政务大模型；获取用户输入的自然语言政务查询，通过垂类政务大模型对自然语言政务查询进行理解和语义解析，并结合图谱化的垂类知识库进行知识推理和问题回答生成，得到满足用户查询需求的自然语言回复；根据问答对话过程中的用户反馈信息，对垂类政务大模型进行交互学习，通过构建用于模型优化的奖赏函数，利用强化学习算法优化垂类政务大模型的模型参数；基于所述本体知识库，通过构建多类型节点和多关系边的图数据结构，结合多条关系路径和关系路径相似度的注意力节点聚合过程，捕捉多类型节点之间的语义关联，生成图谱化的垂类知识库包括：根据本体知识库中的概念层次和实例类型定义预构建的垂类异构图的节点类型集合，将本体知识库中概念名称、实例类型、文本描述的属性信息作为节点属性，根据本体知识库中的关系类型定义预构建的垂类异构图的边类型集合，提取本体知识库中的关系强度作为边属性，基于节点类型、节点属性、边类型和边属性构建包含多类型节点和多关系边的垂类异构图；根据垂类异构图中的节点类型和边类型，采用随机游走算法按照预定义的元路径模式从每个节点出发生成节点间的多条关系路径，提取每条关系路径上的节点类型、边类型以及节点属性、边属性的聚合特征，形成关系路径的向量表示；采用基于路径结构的序列匹配算法和基于路径语义的语义嵌入模型，计算不同关系路径之间的结构相似度和语义相似度，基于所述结构相似度和所述语义相似度构建关系路径之间的相似度矩阵；将每条关系路径的向量表示输入注意力网络，计算关系路径之间的注意力权重矩阵，基于注意力权重矩阵对关系路径进行加权求和得到节点间语义关联的聚合表示，将节点间语义关联的聚合表示更新到对应的节点属性中；根据节点间语义关联的强度构建语义关联图谱，融合多类型的节点间语义关联的信息，得到图谱化垂类知识库；利用预训练语言模型对所述政务数据进行学习，通过掩码语言建模和次级语言建模，得到具备垂类领域知识的垂类语言模型；利用所述垂类知识库中的结构化知识对所述垂类语言模型的参数进行微调并将所述垂类知识库中的结构化知识融入所述垂类语言模型，得到融合了垂类知识库的垂类政务大模型包括：利用掩码语言建模通过随机掩盖政务数据中的部分词并训练预训练语言模型预测被掩盖的词；利用次级语言建模训练预训练语言模型预测下一个词的同时预测其上、下文词，建模词之间的二阶关系；通过实体感知的语言建模任务训练预训练语言模型进行实体标记并将标记的实体进行随机掩码；通过关系感知的语言建模任务训练预训练语言模型构造包含关系三元组的文本序列，并随机掩码关系三元组的头实体或尾实体；将掩码语言建模损失、次级语言建模损失、实体感知的语言建模损失和关系感知的语言建模损失按照预设权重相加，作为垂类政务大模型的整体训练目标，通过迭代联合优化多个损失，直至满足预设迭代条件，完成对融合了垂类知识库的垂类政务大模型的训练。

全文数据：

权利要求：

百度查询： 小哆智能科技(北京)有限公司 基于交互学习的垂类政务大模型服务方法及系统