买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉清华大学申请的专利一种数据科学领域大语言模型评估方法、装置及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119578522B 。

龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411561121.3，技术领域涉及：G06N5/022；该发明授权一种数据科学领域大语言模型评估方法、装置及存储介质是由唐杰;张丹;周卞思宁设计研发完成，并于2024-11-04向国家知识产权局提交的专利申请。

本一种数据科学领域大语言模型评估方法、装置及存储介质在说明书摘要公布了：本发明涉及数据科学技术领域，尤其是指一种数据科学领域大语言模型评估方法、装置、设备及计算机存储介质。本发明所述的大语言模型评估方法，从粗粒度的角度来看，首先汇总任务类型、函数和相应的代码的范围，然后，从细粒度的角度来看，根据特定的任务为每个函数的输出定义编程规则，并将结果与标准答案进行比较，最终，通过生成的测试用例集对目标大语言模型进行评估；本发明从综合的角度为每个子任务生成标准答案并定义特定的评估指标，从而能够面向更复杂的由多个子任务组成的现实世界任务的大语言模型评估。

本发明授权一种数据科学领域大语言模型评估方法、装置及存储介质在权利要求书中公布了：1.一种大语言模型评估方法，其特征在于，包括： 定义典型数据科学任务类型，并收集包含至少一个典型数据科学任务类型的问题，建立问题集； 通过大语言模型为所述问题集中的每个问题生成答案并进行验证，得到验证通过的标准答案； 为不同的典型数据科学任务类型定义相应的评估函数，对每个典型数据科学任务类型的评估函数进行函数类别聚合，得到每个典型数据科学任务类型的聚合评估函数: 为不同的典型数据科学任务类型定义相应的评估函数； 根据所述评估函数为每个问题生成相应的评估代码； 对每个问题的所述典型数据科学任务类型、所述评估函数和相应的评估代码封装为一个三元组； 基于所述三元组为每个问题创建一个层次结构中的有向无环图； 利用大语言模型执行所述评估函数，获得每个典型数据科学任务类型的预期结果，作为评估大语言模型的基准; 根据所述聚合评估函数为每个问题生成相应的评估代码，并结合每个问题对应的标准答案，生成大语言模型评估的测试用例集: 根据所述聚合评估函数为每个问题生成相应的评估代码； 通过判断所述聚合评估函数相应的评估代码的预测输出和标准答案之间的一致性确定评估结果，并将评估结果统一为0到1之间的布尔类型或十进制类型； 对于所述十进制类型的评估结果，通过设置相应的阈值，将其转换为布尔值; 基于所述测试用例集对目标大语言模型进行评估。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区清华园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。