买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广州大学申请的专利基于自适应混合梯度压缩的加速AI大模型分布式训练的方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116957066B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310740870.1，技术领域涉及：G06N3/098；该发明授权基于自适应混合梯度压缩的加速AI大模型分布式训练的方法及装置是由刘外喜;范立生;罗剑涛;陈孔阳;李进;陈庆春;陈昊森设计研发完成，并于2023-06-21向国家知识产权局提交的专利申请。

本基于自适应混合梯度压缩的加速AI大模型分布式训练的方法及装置在说明书摘要公布了：本发明公开一种基于自适应混合梯度压缩的加速AI大模型分布式训练的方法及装置，方法包括：在主从节点结构下，PS参数服务器和计算节点各自经过本地训练迭代生成梯度；利用自适应混合梯度压缩方法对该梯度压缩；将压缩后的梯度发送至PS参数服务器，而后进行解压缩、聚合、更新；更新后的新模型参数发送给各个计算节点；多次迭代训练得到分布式机器学习模型；所述自适应混合梯度压缩方法包括，对于某一类梯度，如果它是一维向量，不进行梯度压缩，如果它的梯度数量大于等于设定阈值，采用逐类梯度聚类机制进行压缩，否则，采用TensorTrain分解机制对其进行压缩。本发明通过减少分布式训练所需通信量减少训练时间，同时不损失模型精度、不引入大计算量。

本发明授权基于自适应混合梯度压缩的加速AI大模型分布式训练的方法及装置在权利要求书中公布了：1.基于自适应混合梯度压缩的加速AI大模型分布式训练的方法，其特征在于，包括以下步骤： 构建分布式机器学习模型，初始化训练数据集，对训练数据集分为n个区并发送至n个计算节点worker；所述分布式机器学习模型的分布式训练以“PS架构+数据并行”为基础，具有主从节点结构，包括PS参数服务器、n个计算节点以及相连接的通信线路； 在主从节点结构下，PS参数服务器初始化模型参数w0，把这些参数推送给所有计算节点；PS参数服务器和计算节点利用数据集同时进行本地训练，在完成t次迭代训练后，分别生成梯度和是PS参数服务器在第t次迭代产生的梯度，是第n个计算节点在第t次迭代产生的梯度； 各个计算节点对自己产生的梯度使用自适应混合梯度压缩方法进行梯度压缩，生成压缩后的梯度所述自适应混合梯度压缩方法，具体为：梯度有多个类，对于某一类梯度来说，当它为一维向量，则不进行压缩；当它的数量大于等于设定阈值，利用逐类梯度聚类机制对梯度进行压缩，并设置压缩模式标识符M＝0；当它的数量小于设定阈值，利用TensorTrain分解机制对梯度进行压缩，并设置压缩模式标识符M＝1；经过逐类梯度聚类机制压缩后的梯度包括质心值和簇标识号；经过TensorTrain分解机制压缩后的梯度包括一组分解后的张量和相应的奇异值； 将压缩后的梯度发送至PS参数服务器；PS参数服务器根据压缩模式标识符对压缩后的梯度进行解压缩，恢复出原始梯度，并与梯度进行聚合，得到全局梯度gt；利用全局梯度gt更新分布式机器学习模型参数，得到新模型参数 将新模型参数发送计算节点，各个计算节点收到新模型参数后，替换自身的旧模型参数，一次迭代结束；上述迭代进行多次后，完成分布式机器学习模型的分布式训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广州大学，其通讯地址为：510006 广东省广州市番禺区大学城外环西路230号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。