首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

大模型预训练场景的GPU算力分组调度方法、系统及介质 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:北京蓝耘科技股份有限公司

摘要:本发明涉及图像大数据处理技术领域,具体公开了一种大模型预训练场景的GPU算力分组调度方法、系统及介质,所述方法包括确定下采样算力比例和处理算力比例;基于下采样算力比例构建识别模块,由识别模块对图像数据进行循环下采样,记录下采样过程中的数据丢失量;当对预训练的图像集进行处理时,由识别模块获取数据丢失量数组,将数据丢失量数组与平均数组进行比对,确定匹配的处理模块;本发明将GPU中的算力资源切分出一个具有分类功能的识别模块和若干个处理模块,由识别模块对图像进行分类,下发至处理模块进行处理,使得每个处理模块尽量对相同类型的图像进行处理,省去了大量的GPU参数适配工作,极大地提高了图像处理效率。

主权项:1.一种大模型预训练场景的GPU算力分组调度方法,其特征在于,所述方法包括:在预训练的图像集中抽取图像数据,对图像数据进行循环下采样,直至图像的尺寸小于预设数值,记录下采样时长;对图像数据进行图像处理,记录处理时长,根据图像数据的数量、处理时长和下采样时长确定下采样算力比例和处理算力比例;基于下采样算力比例构建识别模块,由识别模块对图像数据进行循环下采样,记录下采样过程中的数据丢失量;处理算力比例构建处理模块;统计每张图像数据在循环下采样过程中的数据丢失量,得到数据丢失量数组;计算每个处理模块已处理的图像数据的平均数组;当对预训练的图像集进行处理时,由识别模块获取数据丢失量数组,将数据丢失量数组与平均数组进行比对,确定匹配的处理模块。

全文数据:

权利要求:

百度查询: 北京蓝耘科技股份有限公司 大模型预训练场景的GPU算力分组调度方法、系统及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。