买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京邮电大学;北京白星花科技有限公司

摘要：本发明涉及信息及数据业务技术领域，尤其涉及一种基于微调大模型的超关系知识抽取方法、装置、电子设备及存储介质，其中，方法包括：获取文本数据，基于预设微调参数，构建超关系知识抽取指令；基于超关系知识抽取指令，利用微调大型语言模型构建超关系知识抽取模型；基于学习率预热和衰减策略，利用训练数据集对超关系知识抽取模型进行训练，得到训练完成的超关系知识抽取模型；利用超关系知识抽取模型抽取待解析文本中超关系知识，获得关系数据。采用大型语言模型，对其进行微调以适应超关系知识抽取任务；设计针对性的指令，从模型输出中抽取实体及其相关的多元关系，构建超关系知识图谱，实现了高效、精准地获取超关系并构建知识图谱。

主权项：1.一种基于微调大模型的超关系知识抽取方法，其特征在于，包括：获取文本数据，将所述文本数据进行标注处理，得到训练数据集；基于预设微调参数，构建超关系知识抽取指令；基于超关系知识抽取指令，利用微调大型语言模型构建超关系知识抽取模型；基于学习率预热和衰减策略，利用所述训练数据集对所述超关系知识抽取模型进行训练，得到训练完成的超关系知识抽取模型；利用训练完成的超关系知识抽取模型抽取待解析文本中超关系知识，获得关系数据；所述基于学习率预热和衰减策略，利用所述训练数据集对所述超关系知识抽取模型进行训练，得到训练完成的超关系知识抽取模型，包括：利用所述超关系知识抽取模型中的任务门控基于不同抽取任务激活对应专家网络，所述任务门控计算公式为： 其中，为给定任务T时选择第i个专家的概率，为任务门控中第i个专家对应的权重向量，为任务T的特征表示，是专家总数；利用所述超关系知识抽取模型中的领域门控根据输入文本领域信息激活对应专家网络，所述领域门控计算公式为： 其中，为给定领域D时选择第i个专家的概率，为领域门控中第i个专家对应的权重向量，为领域D的特征表示；利用所述超关系知识抽取模型中的Token门控基于不同Token特性激活对应专家网络，所述Token门控计算公式为： 其中，为给定TokenX时选择第i个专家的概率，为Token门控第i个专家对应的权重向量，为TokenX的特征表示；基于所述任务门控、所述领域门控及所述Token门控，根据输入共同计算出最大概率的专家网络并激活。

全文数据：

权利要求：

百度查询： 北京邮电大学 北京白星花科技有限公司 一种基于微调大模型的超关系知识抽取方法及装置