买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明公开了一种面向海量机器学习任务的异构服务器自动调度系统及方法，首先通过服务器集群管理模块将所有处理节点录入到系统；处理节点信息同步到元信息集群，同时每个处理节点也会将元信息集群中的信息存储在本地数据库；然后通过创建机器学习任务编排模块创建机器学习任务，任务状态设置为待处理，任务保存到本地数据库中；接着任务调度子模块，定时从本地数据库中获取未完成的构建任务，选择其中一个任务，将其状态设置为处理中；最后选择处理节点，进行任务调度、任务处理和集群信息更新；本发明提高海量机器学习任务执行效率，和提高异构服务器集群的利用效率。

主权项：1.一种面向海量机器学习任务的异构服务器自动调度系统，其特征在于：包括若干处理节点、服务器集群管理模块、元信息集群、本地数据库和创建机器学习任务编排模块；所述处理节点设置有任务调度处理模块，所述任务调度处理模块包括任务调度子模块、任务处理子模块和集群信息更新子模块；所述处理节点，为网络中的异构服务器，所有异构服务器组成服务器集群；所述处理节点均设置有配置信息，包括支持的编译环境、可使用CPU数量、可使用GPU数量、可使用内存数量、GPU使用率、内存使用率、节点负载、运行时间；所述服务器集群管理模块，用于将所有处理节点录入到系统，处理节点信息会同步到元信息集群，同时每个处理节点也会将元信息集群中的信息存储在本地数据库；用于新处理节点需要加入到集群，处理节点需要退出集群，及处理节点发生故障后的处理；用于创建机器学习任务；所述元信息集群，用于保存所有处理节点的实时状态信息；所述创建机器学习任务编排模块，用于为机器学习任务中每个步骤依次配置相关的配置信息，包括任务名称、任务类型、数据集、评价指标、需要CPU数量、需要GPU数量、需要内存大小；所述任务类型包括分类、聚类、预测；所述任务调度子模块，用于定时从本地数据库中获取未完成的构建任务，选择其中一个任务，将其状态设置为处理中；用于根据任务所需要CPU、GPU、内存数量，以及服务器集群中每个处理节点的CPU、GPU、内存使用情况，找到最适合该任务的处理节点，调用任务处理子模块执行该机器学习任务；所述任务处理子模块，用于执行机器学习任务，并将执行结果发送给任务调度子模块，将执行结果写入本地数据库；所述集群信息更新子模块，用于定时与元信息集群通信，同步处理节点状态信息到元信息集群，同时将元信息集群的信息复制到本地数据库；每个处理节点能运行1个集群信息更新子模块，1个任务调度子模块，1个或多个任务处理子模块。

全文数据：

权利要求：

百度查询： 武汉大学 面向海量机器学习任务的异构服务器自动调度系统及方法