龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明公开了一种面向同步流水线模型并行的动态模型层调度方法，包括在前向计算阶段，模型训练信息沿前向传递直至流水线末端节点；所述模型训练信息包含模型层信息、当前时隙模型划分，以及节点状态信息；在后向计算阶段，流水线末端节点基于动态预测算法，预测并更新全局节点状态信息；流水线末端节点以最小化同步流水线并行系统训练时间为目标，建立优化问题模型，计算最优划分并将结果后向传递给所有上游节点；参与层迁移的节点调用层管理器完成迁移准备工作，并在参数更新结束后迁移模型层，当层调度结束后开始下一批次的前向计算阶段。本发明通过设计调度方法，避免监测的额外开销，提供动态预测能力，使其更好地适应资源的动态变化。
主权项：1.一种面向同步流水线模型并行的动态模型层调度方法，其特征在于，所述调度方法包括前向计算阶段和后向计算阶段，包括以下步骤：步骤S1、在前向计算阶段，模型训练信息沿前向传递直至流水线末端节点；所述模型训练信息包含模型层信息、当前时隙模型划分，以及节点状态信息；步骤S2、在后向计算阶段，流水线末端节点基于动态预测算法，预测并更新全局节点状态信息；步骤S3、流水线末端节点以最小化同步流水线并行系统训练时间为目标，建立优化问题模型，计算最优划分并将结果后向传递给所有上游节点；步骤S4、参与层迁移的节点调用层管理器完成迁移准备工作，并在参数更新结束后迁移模型层，当层调度结束后开始下一批次的前向计算阶段。
全文数据：
权利要求：
百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种面向同步流水线模型并行的动态模型层调度方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号