买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：之江实验室

摘要：本发明公开了一种大语言模型高效微调测评方法和系统，包括：文件存储模块，用于存储文件并支持通过文件路径对存储文件内容进行增加、删除、查询和修改操作，文件存储模块包括基础模型区、微调模型区、基线数据区、过程存储区和结果存储区；结构化存储模块，采用关系型数据库存储测评相关的结构化数据，结构化数据包括模型信息、基线数据信息、模板信息、流水线信息和任务信息；测评程序模块，用于调用文件存储模块和结构化存储模块进行测评系统的执行，测评程序模块包括系统信息配置功能、执行与调度功能和测评信息管理功能。本发明能够有效管理微调模型多版本和对应测评结果，将模型测评工作流程化，提高测评构建效率。

主权项：1.一种大语言模型高效微调测评系统，其特征在于，包括：文件存储模块、结构化存储模块和测评程序模块；所述文件存储模块用于存储文件并支持通过文件路径对存储文件内容进行增加、删除、查询和修改操作，文件存储模块包括基础模型区、微调模型区、基线数据区、过程存储区和结果存储区；其中，基础模型区用于存储基础模型，存储形式为以单个大语言模型为存储单位，每个大语言模型具有各自的存储路径，支持通过各自的存储路径对大语言模型进行访问；微调模型区用于存储微调模型，微调模型为在大语言模型的基础上使用低秩自适应微调技术训练得到的适配器模型，在存储形式上为增量文件；基线数据区用于存储基线数据集，基线数据集以一个数据集为存储单元，在每个数据集内部按类型划分子集，每个子集支持以路径形式访问和获取；过程存储区用于存储测评任务数据，存储形式为以测评任务数据为存储单元，支持按照路径对特定测评任务的数据进行操作，具体执行方式由调度程序设定；结果存储区用于存储执行结果文件，存储形式为以测评报告形式呈现，报告内容记录测评的细节，细节包括基础模型、微调模型、选取数据集和测评任务指标的相关数据；所述结构化存储模块采用关系型数据库存储测评相关的结构化数据，结构化数据包括模型信息、基线数据信息、模板信息、流水线信息和任务信息；其中，模型信息包括基础模型信息和微调模型信息；基线信息包括基线数据集的属性信息；模板信息包括微调特性模板、基线特性模板和测评报告模板；流水线信息包括测评过程的配置，基于配置定义任务执行过程，一条流水线配置能够唯一地确定对应大语言模型的测评流程；任务信息包括任务基本信息、任务日志和任务输出，其中任务输出包括测评报告；所述测评程序模块用于调用文件存储模块和结构化存储模块进行测评系统的执行，测评程序模块包括系统信息配置功能、执行与调度功能和测评信息管理功能；在利用测评程序模块进行测评系统的执行时，包括：基础数据装载：需要装载的内容包括基础模型、基线数据和模板信息；在基础数据装载步骤，装载的基础模型包括从开源渠道获取基础大语言模型并通过系统信息配置功能中的基础模型配置功能导入；装载的基线数据包括通过开源渠道获取测评所用的基线数据集，并通过系统信息配置功能中的数据基线配置功能导入；装载的模板信息包括装载微调特性模板、基线测试模板和测试报告模板，均通过系统信息配置功能中的模板信息配置功能导入；流水线构建：通过微调模型配置功能和流水线配置功能完成构建；在流水线构建步骤，包括导入微调模型和配置流水线两个子过程；导入微调模型为通过系统信息配置功能中的微调模型配置功能将微调好的大语言模型导入；配置流水线为通过系统信息配置功能中的流水线配置功能进行包括基础模型设定、微调模型选择、基线数据集与指标设定、以及测评报告格式设定的配置操作；测评执行：按顺序执行子过程，子过程包括任务创建与初始化、自动化执行和测评报告生成；在测评执行步骤，任务创建与初始化包括利用执行与调度功能中的测评任务设定功能创建任务，设定内容包括模型组装和基线数据加载的配置信息；自动化执行包括利用执行与调度功能中的任务执行与调度功能启动自动化脚本，过程中产生的信息存储在文件存储模块中；测评报告生成包括利用任务结果生成功能对程序输入原始文件结果进一步计算，并按照模板格式生成测评报告，在文件存储模块中进行存储和记录。

全文数据：

权利要求：

百度查询： 之江实验室 一种大语言模型高效微调测评方法和系统