买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉清华大学深圳国际研究生院申请的专利问答模型评测方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120706581B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511225781.9，技术领域涉及：G06N5/04；该发明授权问答模型评测方法及装置是由刘瑜;吴世伟;李徵;李劭辉;姜智卓;李耀文;阮书岚;李秀设计研发完成，并于2025-08-29向国家知识产权局提交的专利申请。

本问答模型评测方法及装置在说明书摘要公布了：本发明涉及数据处理技术领域，提供一种问答模型评测方法及装置，包括：将评测数据集中的历史问答对、多个指令文档、用户查询问答对中的问题以及第一提示词输入至待测问答模型，得到待测问答模型按所述第一提示词推理输出的用户查询问答对中问题的预测答案和预测步骤序列；其中，多个指令文档是基于用户查询文本检索得到的，历史问答对和用户查询问答对中的问题是第一大模型基于指令文档生成的，标准答案和标准步骤序列是第一大模型基于历史问答对、多个指令文档和用户查询问答对中的问题生成的；对比标准答案和预测答案，对比标准步骤序列和预测步骤序列，得到评测结果。本发明实现了在多步骤、流程化指令的场景下，对待测问答模型的有效评测。

本发明授权问答模型评测方法及装置在权利要求书中公布了：1.一种问答模型评测方法，其特征在于，包括： 将评测数据集中的历史问答对、多个指令文档、用户查询问答对中的问题以及第一提示词输入至待测问答模型，得到所述待测问答模型按所述第一提示词推理输出的用户查询问答对中问题的预测答案和预测步骤序列，所述第一提示词用于指示待测问答模型分析多个所述指令文档和所述历史问答对，以推理输出所述用户查询问答对中问题的预测答案和预测步骤序列；所述评测数据集包括：历史问答对、用户查询问答对、用户查询问答对中标准答案对应的标准步骤序列和多个指令文档，其中，多个指令文档是基于用户查询文本检索得到的，所述历史问答对和用户查询问答对中的问题是第一大模型基于多个指令文档生成的，所述标准答案和标准步骤序列是第一大模型基于所述历史问答对、多个指令文档和用户查询问答对中的问题生成的； 基于所述标准答案和所述预测答案对比，标准步骤序列和预测步骤序列对比，得到评测结果； 其中，基于所述标准答案和所述预测答案对比，标准步骤序列和预测步骤序列对比，得到评测结果，包括： 基于所述标准答案和所述预测答案计算面向召回的摘要评估指标； 基于所述标准答案和所述预测答案对比，以及标准步骤序列和预测步骤序列对比，计算表征所述待测问答模型回答问题的相关性得分和任务完成率；其中，所述相关性得分表示预测答案与用户查询问答对中问题的相关程度，所述任务完成率表示所述预测步骤序列和标准步骤序列中均出现的步骤数量占标准步骤序列中步骤总数的比例。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学深圳国际研究生院，其通讯地址为：518055 广东省深圳市南山区西丽街道深圳大学城清华校区A栋二楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。