买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学;北京爱奇艺科技有限公司申请的专利面向带宽受限环境的分布式训练通信优化方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116405392B 。

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310438029.7，技术领域涉及：H04L41/0823；该发明授权面向带宽受限环境的分布式训练通信优化方法及系统是由蒋剑飞;张珈瑜;程少君;董峰;陈可;乔勇设计研发完成，并于2023-04-21向国家知识产权局提交的专利申请。

本面向带宽受限环境的分布式训练通信优化方法及系统在说明书摘要公布了：本发明提供了一种面向带宽受限环境的分布式训练通信优化方法及系统，涉及深度学习，分布式系统技术领域，包括：步骤S1：采用分布式训练平台，并使用数据并行的模式；步骤S2：建立深度学习模型，将所述分布式训练平台中所有的worker依次进行数据加载、前向传播、反向传播、参数通信、参数更新的操作，对深度学习模型进行训练；步骤S3：在前述步骤基础上综合使用延迟通信、异步通信以及分层通信的优化方式，对深度学习模型进行迭代。本发明通过分层策略充分利用设备互联的异构性，而局部的异步策略则在缓解节点间网络通信瓶颈的同时，保证了模型训练的高收敛效率。

本发明授权面向带宽受限环境的分布式训练通信优化方法及系统在权利要求书中公布了：1.一种面向带宽受限环境的分布式训练通信优化方法，其特征在于，包括： 步骤S1：采用分布式训练平台，并使用数据并行的模式； 步骤S2：建立深度学习模型，将所述分布式训练平台中所有的worker依次进行数据加载、前向传播、反向传播、参数通信、参数更新的操作，对深度学习模型进行训练； 步骤S3：在前述步骤基础上综合使用延迟通信、异步通信以及分层通信的优化方式，对深度学习模型进行迭代； 所述分层通信优化方式，将整体通信抽象为单机内部通信和机器之间通信两层，根据每一层通信的带宽特点，采用不同的通信策略，充分利用机内和机间的带宽； 在分层通信的基础上，采取局部异步的方式实现，即以机器内部同步、机器外部异步的方式进行参数通信，流程如下： 1）给定一个具有N台机器，每台机器具有n个GPU设备的集群，构建分层网络，以集群中每个机器整体作为一个节点Node，每个GPU计算设备为Rank，选取Node-k,Rank-j设备进行分析； 2）在第t次迭代时，并行启动计算进程和通信进程；计算进程计算出本轮梯度，通信进程分为内部通信以及外部通信两部分； 3）内部通信：在Node-k内部构建的局部环网络中，Rank-j使用本地模型与其他Rank进行Ring-Allreduce操作聚合得到局部平均模型； 4）外部通信： 机外聚合平均：在Node之间构建的外部环网络中，Node-k_Rank-0使用局部平均模型与其他Node_Rank-0进行外部Ring-Allreduce通信，得到全局平均模型； 机内广播：每个Node的Rank-0通过Broadcast操作将同步至所有Rank； 进程上锁与释放：在启动外部通信时，同时获取一个锁，直到外部通信结束后释放； 5）内部参数更新，每次迭代结束时，根据延迟通信，使用Node-k上一轮的局部平均模型进行局部参数更新； 6）全局参数更新，每次迭代结束检查锁是否释放，若释放则表示全局平均模型已就绪，将作为模型修正项参与模型更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学;北京爱奇艺科技有限公司，其通讯地址为：200240 上海市闵行区东川路800号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。