买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京邮电大学申请的专利一种针对大语言模型的上下位关系判断能力的评估方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119397228B 。

龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510015443.6，技术领域涉及：G06F18/21；该发明授权一种针对大语言模型的上下位关系判断能力的评估方法是由季秋;盛阳;李炜卓设计研发完成，并于2025-01-06向国家知识产权局提交的专利申请。

本一种针对大语言模型的上下位关系判断能力的评估方法在说明书摘要公布了：本发明公开了一种针对大语言模型的上下位关系判断能力的评估方法，属于自然语言处理领域，方法包括：根据多种包含上下位关系的数据集构建分类图；根据分类图及数据集中的结构信息，构建测试用例；将测试用例与预先设计的多种提示词进行组合，输入到被测的大语言模型中，获得返回结果；根据大语言模型的返回结果，评估大语言模型的上下位关系的判断能力；本发明充分结合大语言模型能够理解词汇在不同语境中的意义，克服了之前方法的不足之处，此方法通过设计不同的提示词，既评估了大语言模型的基础上下位关系的判断能力，也通过注入外部知识提高大语言模型的推理能力和上下位关系的识别准确性。

本发明授权一种针对大语言模型的上下位关系判断能力的评估方法在权利要求书中公布了：1.一种针对大语言模型的上下位关系判断能力的评估方法，其特征在于，包括：根据多种包含上下位关系的数据集构建分类图；根据分类图及数据集中的结构信息，构建测试用例；将测试用例与预先设计的多种提示词进行组合，输入到被测的大语言模型中，获得返回结果；根据大语言模型的返回结果，评估大语言模型的上下位关系的判断能力；所述数据集包括有概念定义的数据集、有实例层信息的数据集、有模式层信息的数据集、同时有实例层与模式层信息的数据集；所述有概念定义的数据集表示上下位识别数据集；包括taxo文件、terms文件和term2def文件，其中，taxo文件中每行描述一个子节点编号与其某个父节点编号，terms文件中每行描述一个节点编号与其对应的概念，term2def文件中每行是一个概念及其来自相应语料库的定义；将taxo文件中的节点编号换成terms文件中对应的概念，构建具有上下位关系的概念对；所述有实例层信息的数据集表示包含上下位关系的知识图谱，所述知识图谱是一种通过节点和边表示实体及其关系的结构化数据模型，用于组织和关联信息以支持智能分析和应用，其中节点表示实例、概念或者具体的值，边表示节点之间的语义关系；所述有模式层信息的数据集表示包含上下位关系的本体，所述本体用于描述概念、属性以及实例之间的语义关系；在挑选用于评估的上下位关系时，挑选具有模式层信息定义的上位词与下位词，所述模式层信息定义包括概念的不交公理、概念在某些属性上的取值方式或实例数量上的约束的定义、同概念相关联的属性；所述同时有实例层与模式层信息的数据集是既包含上下位关系又包含模式层信息定义的知识图谱，或者是既包含上下位关系又包含实例层信息的本体，在挑选用于评估的上下位关系时，上位词和下位词既具有相关的实例，又具有相关的模式定义；所述根据多种包含上下位关系的数据集构建分类图，包括：构建一个空的有向图，向有向图中添加节点，每个节点代表一个上位词或下位词，每个上位词或下位都是知识图谱或本体中一个概念；根据数据集中抽出的上下位关系往有向图中添加边，如果两个节点之间具有上下位关系，则添加一条有向边，从上位词指向下位词；往有向图中添加完所有边后，得到新的分类图；其中，所述分类图中的节点分为根节点、叶子节点与非叶子结点，根节点是指只有出边没有入边的节点，叶子节点表示只有入边没有出边的节点，非叶子节点是指既有入边又有出边的节点；其中，所有从叶子节点到能到达的根节点之间所有路径构成的路径节点集合anchorsq，计算公式如下： ；其中，q为某个叶子节点，p为路径，roots为所有的根节点，r为某个根节点，pathNodesq,p表示叶子节点q的一条路径p上除了q之外的所有节点构成的集合，pathsq,r表示从q到r的所有路径。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市鼓楼区新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。