买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：沐曦灵智科技(杭州)有限公司

摘要：本申请涉及电数字数据处理技术领域，特别是涉及一种加速训练的处理方法。方法应用于分布式训练架构，其包括若干训练节点和分布式内存文件系统，系统包括控制节点和若干存储节点，控制节点用于实现对存储节点和存储目录的管理，每一训练节点通过控制节点实现对存储目录的读写操作；方法包括：响应于架构初始化，控制节点从外部存储中获取初始训练阶段数据，并将其存储在存储目录中；响应于架构启动初始阶段训练任务，目标训练节点向控制节点发送获取初始训练阶段数据的请求；控制节点将对应的存储目录返回给训练节点，使其获取初始训练阶段数据进行训练。本发明能够在初始化和训练过程中预先将外部数据存储在存储目录，实现内存级的读写速度。

主权项：1.一种加速训练的处理方法，其特征在于，所述加速训练的处理方法应用于分布式训练架构，所述分布式训练架构包括若干训练节点，每一训练节点包括图形处理器，不同图形处理器用于执行不同的训练任务；所述分布式训练架构还包括分布式内存文件系统，所述分布式内存文件系统包括控制节点和若干存储节点，每一存储节点由一个服务器的内存构成；所述分布式内存文件系统还包括若干存储目录，所述控制节点用于实现对存储节点和存储目录的管理，每一训练节点能够通过所述控制节点实现对所述若干存储目录的读写操作；所述方法包括以下步骤：S100，响应于分布式训练架构初始化，控制节点从外部存储中获取初始训练阶段数据，并将所述初始训练阶段数据存储在存储目录中；所述初始训练阶段数据为分布式训练架构执行初始阶段训练任务所需的数据，所述初始阶段包括若干阶段；S200，响应于分布式训练架构启动初始阶段训练任务，目标训练节点向控制节点发送获取所述初始训练阶段数据的请求；所述目标训练节点为分布式训练架构包括的某一训练节点；S300，控制节点接收到目标训练节点发送的获取所述初始训练阶段数据的请求后，将存储有所述初始训练阶段数据的存储目录返回给目标训练节点；S400，目标训练节点收到控制节点返回的存储有所述初始训练阶段数据的存储目录后，从所述存储有所述初始训练阶段数据的存储目录中获取所述初始训练阶段数据；S500，目标训练节点根据获取的所述初始训练阶段数据进行训练。

全文数据：

权利要求：

百度查询： 沐曦灵智科技(杭州)有限公司 一种加速训练的处理方法