龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：数据空间研究院
摘要：本发明公开了一种面向大模型评估的整体步骤、模型调用及数据集加载方法，包括S1、设定评测参数；S2、解析接收到的待评测模型的名称，通过预设的解析规则获取模型的详细标识、权重保存路径以及确定待评测的任务类型和所需数据集的详细信息；S3、根据解析得到的信息，调用模型加载功能，加载指定模型及其权重；S4、调用数据集加载功能，根据解析得到的数据集名称、模型权重路径和数据集路径；S5、利用步骤S3中配置好的模型接口，对步骤S4中准备好的数据集执行评测算法，评估模型在指定任务上的性能；S6、收集和拼接所有评测结果。本发明能够有效解决大模型评测中的多种挑战，为深度学习模型的研究和应用提供了重要的技术支持。
主权项：1.一种面向大模型评估的整体步骤、模型调用及数据集加载方法，其特征在于，包括如下步骤：S1、设定评测参数，接收包括待评测模型的名称、数据集名称、模型权重路径、数据集路径及结果输出路径的输入信息；S2、解析接收到的待评测模型的名称，通过预设的解析规则获取模型的详细标识、权重保存路径以及确定待评测的任务类型和所需数据集的详细信息；S3、根据解析得到的信息，调用模型加载功能，加载指定模型及其权重，并配置模型调用模型接口以备评测使用，其中模型加载考虑多种任务场景下的特定需求和配置差异；S4、调用数据集加载功能，根据解析得到的数据集名称、模型权重路径和数据集路径，加载并转换相应数据集以符合评测需求；S5、利用步骤S3中配置好的模型接口，对步骤S4中准备好的数据集执行评测算法，评估模型在指定任务上的性能；S6、收集和拼接所有评测结果，将数据保存至步骤S1指定的结果输出路径。
全文数据：
权利要求：
百度查询： 数据空间研究院 面向大模型评估的整体步骤、模型调用及数据集加载方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号