买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)申请的专利用于异构设备的深度学习大模型训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119557113B 。

龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510131779.9，技术领域涉及：G06F9/50；该发明授权用于异构设备的深度学习大模型训练方法及系统是由赵志刚;刘福来;李传涛;肖连辉;王春晓;李响;李锦涛;王雨欣设计研发完成，并于2025-02-06向国家知识产权局提交的专利申请。

本用于异构设备的深度学习大模型训练方法及系统在说明书摘要公布了：本发明提供了一种用于异构设备的深度学习大模型训练方法及系统，其属于模型训练技术领域，为了解决传统方案在深度学习大模型的训练时，无法对异构GPU集群进行有效利用的问题，所述方案基于提出的虚拟设备概念，通过将待训练的深度学习大模型的不同网络层划分为若干阶段，每个阶段所有网络层的前向传播和反向传播计算均由独立的虚拟设备执行，同时，结合提出的混合并行训练策略来协调不同构的GPU资源的利用，实现高效的模型训练。

本发明授权用于异构设备的深度学习大模型训练方法及系统在权利要求书中公布了：1.用于异构设备的深度学习大模型训练方法，其特征在于，包括：将待训练的深度学习大模型的不同网络层划分为若干阶段，每个阶段所有网络层的前向传播和反向传播计算由独立的虚拟设备执行；其中，所述虚拟设备由异构设备集群中一个或多个同构GPU设备构成；将训练数据集中的训练样本划分为若干满足第一尺度要求的大批量，并将每个大批量划分为若干满足第二尺度要求的小批量；将每个小批量作为虚拟设备的输入进行深度学习大模型的训练，其中，在深度学习大模型的训练中，同一个大批量中的所有小批量使用同一训练阶段的权重版本；其中，在所述深度学习大模型的训练中，各虚拟设备间采用流水线并行处理方式或流水线并行处理和数据并行结合的处理方式，以及，虚拟设备内部采用数据并行处理、张量并行处理或流水线并行处理方式；所述虚拟设备间采用流水线并行处理方式时，采用预设的双重缓冲机制，具体为：在每个虚拟设备中维护新旧不同的两个权重版本，其中，虚拟设备中每个小批量完成反向传播后，进行权重更新并生成新版本权重，同一个大批量中的所有小批量使用同一训练阶段的权重版本，当且仅当同一个大批量中所有的小批量均完成反向传播后进行旧版本权重的丢弃；所述深度学习大模型训练方法中虚拟设备内并行策略的选择，具体为：对于每种并行策略，采用不同批次大小进行模拟训练，通过动态的调整异构设备的比例，最大化异构GPU设备的综合利用率来确定最优的并行策略、训练时的批次大小以及异构设备的比例。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)，其通讯地址为：250000 山东省济南市历下区科院路19号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。