买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开了一种NCCL库的自动在线调优方法、系统、设备及存储介质,它们是相对应的方案,相关方案中可以在保证NCCL库的集合通信任务能正确执行的前提下,能够根据每一次配置的执行结果,进行在线的调优,不断地优化配置、提升性能、减少时间,适用于复杂的分布式通信场景下,同时不引入过多调优上的开销;并且相关方案中能够通过有效的调优过程,在巨大的搜索空间内快速地找到性能较优的配置;最终对多个集群和模型的评估表明,本发明在DNN模型训练上能够快速地收敛,同时能够保证相较于NCCL更高的性能收益。
主权项:1.一种NCCL库的自动在线调优方法,其特征在于,包括:接收到NCCL库的集合通信任务时,查询自身的配置表获得最佳配置并执行,完成相应的NCCL库的集合通信任务,以及记录执行时间;其中,NCCL库为英伟达集合通信库;结合所述最佳配置及其执行时间更新历史表,并结合历史表启动调优过程,获得新的最佳配置;其中,调优过程中,将配置中的参数划分为与实现相关的参数,以及与计算资源分配相关的参数,以性能作为指标,选出与实现相关的参数及与计算资源分配相关的参数的最佳组合,并作为新的最佳配置;将所述新的最佳配置更新至配置表中。
全文数据:
权利要求:
百度查询: 中国科学技术大学 NCCL库的自动在线调优方法、系统、设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。