买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京科杰科技有限公司
摘要:本发明涉及计算资源任务调度技术领域,尤其涉及一种基于大模型的运算环境自动切换系统,包括,模型库;数据获取模块;特征提取模块,用以提取所述请求数据中的特征数据;特征匹配模块,用以将所述特征提取模块提取的特征数据与历史任务的历史特征数据进行匹配,对待处理任务进行模糊定级和匹配相应的行业领域;模型预测模块,用以根据所述特征匹配模块的匹配结果预测所述待处理任务所需的模型;模型调整模块,用以对模型进行调整并确定调整后的所述模型的评估准确率;结果输出模块,用以输出运算环境的切换结果。本发明克服了现有技术中数据处理过程控制精准性不足导致的CPU和GPU资源浪费的问题。
主权项:1.一种基于大模型的运算环境自动切换系统,其特征在于,包括:模型库,其用以存储任务处理过程所需的模型;数据获取模块,其用以获取用户终端的网关请求数据;特征提取模块,其与所述数据获取模块连接,用以提取所述请求数据中的特征数据,并根据特征数据的重要程度确定对所述特征数据的提取,以及确定针对所述特征数据的提取粒度;特征匹配模块,其分别与所述模型库和所述特征提取模块连接,用以将所述特征提取模块提取的特征数据与历史任务的历史特征数据进行匹配,确定相似度最高的历史任务的资源消耗,以对待处理任务进行模糊定级,并根据特征匹配确定所述请求数据对应的待处理任务的行业领域;模型预测模块,其分别与所述模型库和所述特征匹配模块连接,用以根据所述特征匹配模块的匹配结果预测所述待处理任务所需的模型;模型调整模块,其与所述模型预测模块连接,用以对模型进行调整并确定调整后的所述模型的评估准确率,以根据调整次数确定预测断点;同时统计模型调整前的梯度累积数量以确定对所述特征提取模块的提取过程的修正;或,根据调整次数确定对调整过程和所述特征提取模块的提取过程的优化;结果输出模块,其与所述模型预测模块连接,用以输出运算环境的切换结果。
全文数据:
权利要求:
百度查询: 北京科杰科技有限公司 一种基于大模型的运算环境自动切换系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。