买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海序禄信息科技有限公司申请的专利指令遵循能力的评估方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121412618B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511985687.3，技术领域涉及：G06F18/21；该发明授权指令遵循能力的评估方法、装置、电子设备及存储介质是由段庆龙;刘兵;张磊;涂若欣;冯利光;王明超;苏世前设计研发完成，并于2025-12-26向国家知识产权局提交的专利申请。

本指令遵循能力的评估方法、装置、电子设备及存储介质在说明书摘要公布了：本发明提供了一种指令遵循能力的评估方法、装置、电子设备及存储介质，涉及人工智能技术领域。首先获得任务指令以及与任务指令相关的参考知识；接着将任务指令和参考知识拼接为Prompt文本，并调用第一大语言模型基于Prompt文本进行推理并逐个token输出；与此同时，当第一大语言模型每输出一个token时，提取第一大语言模型的中间层输出的当前激活值序列；利用预先训练的评估模型基于当前激活值序列，确定能力评估值，该能力评估值反映第一大语言模型的指令遵循能力。本发明在模型生成过程，利用评估模型基于第一大语言模型每次输出token时的激活值序列确定能力评估值，从而将在模型生成过程中实现高效、准确的指令遵循能力评估。

本发明授权指令遵循能力的评估方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种指令遵循能力的评估方法，其特征在于，包括： 获得任务指令以及与所述任务指令相关的参考知识； 将所述任务指令和所述参考知识拼接为Prompt文本，并调用第一大语言模型基于所述Prompt文本进行推理并逐个token输出； 当所述第一大语言模型每输出一个token时，提取所述第一大语言模型的中间层输出的当前激活值序列； 利用预先训练的评估模型基于所述当前激活值序列，确定能力评估值；所述能力评估值反映所述第一大语言模型的指令遵循能力； 其中，所述评估模型通过以下方式训练得到： 获取问答数据集，所述问答数据集中的每份样本数据包括历史任务指令、历史参考知识和标准答案文本； 针对任一所述样本数据，将该样本数据中的历史任务指令和历史参考知识输入所述第一大语言模型，得到预测答案文本；所述预测答案文本包括N个预测token； 当所述第一大语言模型输出第n个预测token时，提取所述第一大语言模型的中间层输出的激活值序列作为激活值序列样本，并基于输出token序列和所述标准答案文本，确定该激活值序列样本对应的实际匹配度；其中，，所述输出token序列包括所述第一大语言模型输出的n个预测token； 遍历每份所述样本数据，得到判别数据集；所述判别数据集包括若干激活值序列样本及其各自对应的实际匹配度； 以所述激活值序列样本为输入特征、以所述实际匹配度为监督信号，利用所述判别数据集对预先构建的机器学习模型进行训练，得到所述评估模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海序禄信息科技有限公司，其通讯地址为：200135 上海市浦东新区中国(上海)自由贸易试验区浦东大道2123号三层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。