首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于volcano的节点分组作业调度方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:中国人民解放军国防科技大学

摘要:本说明书实施例提供一种基于volcano的节点分组作业调度方法及系统,其中,该方法包括建立混合集群,其中,混合集群包括Slurm集群和K8S集群,混合集群包括至少一个混合节点及至少一个K8S节点,混合节点在同一时间供Slurm集群和K8S集群中的一个调度;在Volcano调度器上安装节点组优先级插件;对至少一个Slurm节点、至少一个混合节点及至少一个K8S节点按照资源类型进行分组,生成多个节点组,为每个节点组配置优先级;对于未调度的Pod,Volcano调度器基于每个节点组配置优先级,从至少一个混合节点及至少一个K8S节点中确定用于运行未调度的Pod的目标节点,具有在混合调度场景下,提高资源使用率的优点。

主权项:1.一种基于volcano的节点分组作业调度方法,其特征在于,包括:建立混合集群,其中,所述混合集群包括Slurm集群和K8S集群,所述混合集群包括至少一个混合节点及至少一个K8S节点,所述混合节点在同一时间供所述Slurm集群和所述K8S集群中的一个调度;在Volcano调度器上安装节点组优先级插件,具体包括:在Kubernetes集群里面部署Volcano以及实现节点组优先级插件所需要的调度器,部署完Volcano之后,在VolcanoSchdulerConfigmap中添加配置节点组优先级插件用以开启节点组优先级功能,监听集群中VolcanoSchedulerConfigmap和Node配置的变更消息,更改VolcanoSchdulerConfigmap和Node配置之后就会被VolcanoScheduler监听到;对所述至少一个混合节点及至少一个K8S节点按照资源类型进行分组,生成多个节点组,为每个所述节点组配置优先级,其中,所述多个节点组至少包括Slurm节点组、混合CPU节点组、混合GPU节点组、K8SCPU节点组及K8SGPU节点组;对于未调度的Pod,所述Volcano调度器基于每个所述节点组配置优先级,从所述至少一个混合节点及至少一个K8S节点中确定用于运行所述未调度的Pod的目标节点,具体的,创建VolcanoJob之后,VolcanoController会根据VolcanoJob配置创建Pod,此时Pod处于等待状态,等待VolcanoScheduler进行调度,VolcanoScheduler调度器启动时会加载VolcanoSchedulerConfigMap中配置的调度插件并注册对应的插件并获取所有节点的配置信息,Volcano调度器基于每个节点组配置优先级,从至少一个混合节点及至少一个K8S节点中确定用于运行未调度的Pod的目标节点;其中,Volcano调度器基于每个节点组配置优先级,从至少一个混合节点及至少一个K8S节点中确定用于运行未调度的Pod的目标节点,包括:判断K8SCPU节点组中是否存在目标节点;若K8SCPU节点组中不存在目标节点,判断混合CPU节点组中是否存在目标节点;若混合CPU节点组中不存在目标节点,判断K8SGPU节点组中是否存在目标节点;若K8SGPU节点组中不存在目标节点,判断混合GPU节点组是否存在目标节点;基于volcano的节点分组作业调度方法应用在研发运维环境一体化系统架构,研发运维环境一体化系统架构包括数值预报研发系统和数值预报业务系统两部分,分别应用于研发场景和业务场景,在数值预报研发系统中,研发用户使用K8S和Docker技术,进行数值预报应用程序的研发、应用镜像的创建、容器的管理;在数值预报业务系统中,用户使用Slurm和Singularity技术,拉取研发系统构建的预报应用程序并运行作业,引入Volcano,用以处理数值预报批量任务。

全文数据:

权利要求:

百度查询: 中国人民解放军国防科技大学 一种基于volcano的节点分组作业调度方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。