首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于Map Reduce的分布式任务计算调度方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:中国西安卫星测控中心

摘要:本申请是关于一种基于MapReduce的分布式任务计算调度方法,包括:获取不同客户端的作业任务,并将所有作业任务进行优先级排序,得到所有作业任务的优先级顺序;调度器根据优先级顺序,对所有作业任务进行资源调度配置;并将配置结果发送至控制端;控制端接收配置结果,对配置结果进行存储,并将配置结果反馈给每个客户端;其中,进行资源调度配置至少包括设置预留资源和对预留资源进行动态调整。本申请既能优先保障重要任务及时得到计算处理,又能合理分配计算资源,减少了总任务的计算时间,有效提高动力学计算任务的并行效率。

主权项:1.一种基于MapReduce的分布式任务计算调度方法,其特征在于,包括以下步骤:获取不同客户端的作业任务,并将所有所述作业任务进行优先级排序,得到所有所述作业任务的优先级顺序;调度器根据所述优先级顺序,对所有所述作业任务进行资源调度配置,并将配置结果发送至控制端;所述控制端接收所述配置结果,对所述配置结果进行存储,并将所述配置结果反馈给每个所述客户端;其中,对所有所述作业任务进行资源调度配置至少包括设置预留资源和对所述预留资源进行动态调整;对所述作业任务进行聚类处理和统计处理,筛选出预留资源节点;其中,将优先级为重要的所述作业任务的作业启动时刻和作业时长作为输入,并利用基于密度的聚类算法进行聚类处理,得到所述作业任务按时间划分的聚类簇集合;所述聚类处理至少包括设置时间门限参数和最小样本参数;统计所述聚类簇集合中每个聚类簇的CPU和内存的总占用量;统计获得每个所述聚类簇的历史使用的资源节点集合,按照所述作业时长顺序进行排序,并根据上一步骤的统计结果,设置存储门限值,在排序后的所述资源节点集合内筛选所述预留资源节点;根据所述预留资源节点,设置所述预留资源,并对所述预留资源进行动态调整,得到所述配置结果;其中,在所述预留资源节点的窗口开始前的预设时间内,锁定所述预留资源;在优先级为重要的所述作业任务接入后,优先将所述预留资源分配给所述作业任务,并在所述预留资源不满足时,逐步提高所述存储门限值,对所述预留资源进行所述动态调整;在所述预留资源节点的窗口结束后的所述预设时间内,释放所述预留资源。

全文数据:

权利要求:

百度查询: 中国西安卫星测控中心 一种基于Map Reduce的分布式任务计算调度方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。