买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)

摘要：本发明提供了一种基于异构资源度量特征的算力网络工作流调度方法及系统，其属于算力网络资源调度技术领域，所述方案在细粒度资源描述度量基础上，综合考虑任务、算力、网络以及数据等资源状况，通过调度跨域数据中心资源协作，有效提升了任务处理速度，提高资源利用率；所述方案可根据任务多样化的需求，制定需求与资源高度契合的调度策略，可以更加准确地匹配任务与资源，选择最适合的数据中心来执行任务；所述方案中，工作流中的子任务通过合理分配资源，缩短了任务的执行过程，提高了工作流执行效率；同时，所述方案针对多个数据中心负载情况，避免部分数据中心过载而导致任务延迟或一些数据中心空闲造成资源浪费的情况。

主权项：1.一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，包括：响应于用户的工作流任务请求，获取当前工作流的任务资源需求以及当前用户的资源配额；当资源配额满足当前工作流的任务资源需求时，按照任务执行顺序执行工作流中的子任务；其中，在子任务执行前，预先执行如下过程：基于算网服务平台已接入的数据中心及其对应的算力度量标准信息，从算网服务平台中选择所有符合当前子任务资源需求的计算集群和存储集群组合，以及计算集群和存储集群组合所对应的数据中心标识；获取各个组合所对应的数据中心间的网络状况参数，计算综合网络性能参数；基于所述综合网络性能参数，结合预先构建的考虑位置因素以及负载均衡因素的多目标函数，通过优化求解，获得用于当前子任务执行的计算集群和存储集群组合；所述预先构建的考虑位置因素以及负载均衡因素的多目标函数，包括：以最小化用于存储数据的存储集群所属数据中心与所选的计算集群所属数据中心之间的欧式距离，作为第一目标；以最大化用于存储数据的存储集群所属数据中心与所选的计算集群所属数据中心之间网络综合性能指数，为第二目标；以最小化算力网络内所有数据中心的综合资源使用率，作为第三目标；以所述第一目标、第二目标和第三目标，作为多目标函数；所述网络综合性能指数，基于预测的数据中心之间的网络指标加权求和得到，其中，所述网络指标包括带宽、抖动、丢包率以及时延；结合位置因素、负载均衡因素形成多目标函数，具体为：位置优先：计算所有存储数据的数据中心与所选的计算集群归属的数据中心的欧氏距离； （1）其中，代表存储数据的数据中心的经度与纬度，，代表所选的计算集群归属的数据中心的经度与维度；网络优先：计算所有存储数据的数据中心与所选的计算集群归属的数据中心的网络综合性能指数； （2）其中，，，和分别为两个数据中心间第i+6个时间点的带宽、延迟、抖动和丢包率；，，和分别为两个数据中心间第i+7个时间点的带宽、延迟、抖动和丢包率；、、和分别为带宽、延迟、抖动和丢包率的权重；对于网络优先，基于获取的历史数据中i至i+6时间点的网络指标数据，使用训练好的LSTM模型预测第i+7个时间点的网络指标数据，即，，和；并基于主成分分析法确定每个参数的贡献率，以所述贡献率作为带宽、延迟、抖动和丢包率的权重；负载均衡优先：计算所有数据中心的资源均衡因子，来表示算力网络的负载均衡程度，首先得到数据中心的综合资源使用情况，由公式（3）得到；资源均衡因子通过所有数据中心的综合资源使用率计算标准差由公式（4）得到； （3） （4）其中，为数据中心资源使用综合参数，,,分别代表数据中心的CPU使用率，硬盘使用率，内存使用率；代表算力网络内数据中心的数量；兼顾任务执行的高效性和数据中心资源的均衡性，以最小化地理距离，最小化资源均衡因子，最大化网络综合性能指数为目标构造多目标优化函数，在解集中随机选取一个计算集群和存储集群组合，并得到合适的数据中心，避免部分数据中心过载而导致任务延迟或一些数据中心空闲造成资源浪费；、、为计算集群和存储集群可用的CPU资源、内存资源、硬盘资源，、、为工作流一个子任务需要的CPU资源、内存资源、硬盘资源； （5）；所述算力度量标准信息包括计算资源度量标准信息以及存储资源度量标准信息，其中，所述计算资源度量标准信息包括计算集群可用CPU核数与内存容量资源规模、云数据中心提供方式、云资源提供方式、操作系统类型、处理器架构、计算集群地理位置以及资源类型；所述存储资源度量标准信息包括存储集群可用的硬盘容量、云数据中心提供方式、云资源提供方式、操作系统类型、硬盘类型、存储集群地理位置以及资源类型。

全文数据：

权利要求：

百度查询： 山东省计算中心(国家超级计算济南中心) 齐鲁工业大学(山东省科学院) 基于异构资源度量特征的算力网络工作流调度方法及系统