龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：华东师范大学
摘要：本发明公开了一种基于弹性平均加速流水线并行训练的性能优化方法，所述方法包括：在流水线并行训练模式中，整合弹性平均技术，构建新训练框架；通过调整调度策略，避免中间数据积压在显存，从而缓解弹性平均技术所造成的额外显存占用；新的流水线并行训练框架存在多项可调参数，通过统计历史信息，以实现由系统自动进行参数调优。
主权项：1.一种基于弹性平均加速流水线并行训练的性能优化方法，其特征在于，所述方法包括如下步骤：步骤A：按照模型各层的计算开销，将需要进行训练的输入模型等分为多个分区，以分配至集群的各个显卡中；步骤B：在每个分区上创建与分区对应的多个并行模型分区副本和一个参考模型分区；步骤C：将每一批输入数据等分为多个微批次，以流水线的方式依次处理多个微批次数据；步骤D：在每一批数据的处理中独立并行地训练更新多个并行模型，同时利用弹性平均方法稀释并行模型的权重，对并行模型进行更新；步骤E：在每一批数据的处理完成后将多个并行模型上的训练结果同步至参考模型，对参考模型进行更新。
全文数据：
权利要求：
百度查询： 华东师范大学 一种基于弹性平均加速流水线并行训练的性能优化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号