买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东师创云服务有限公司

摘要：一种基于多维依赖的数据仓库任务分层调度方法、系统及程序产品，属于大数据处理的技术领域。其中，数据仓库W中的一次数据任务调度,就是在t时刻，在模型快照确定的数据环境中，对指定数仓任务的一次执行，执行过程中受到所依赖任务实例集合的约束，在启动执行前，执行完成所有依赖任务实例。本发明区分周期性、手动触发两种任务调度触发方式和数据、时间两种任务依赖模式，在基本不降低数据仓库建模能力的前提下，有效、高效地避免了任务间的循环依赖和任务的重复调度，提高任务调度和执行的效率。

主权项：1.基于多维依赖的数据仓库任务分层调度方法，其特征在于，包括：数据仓库W中的一次数据任务调度,就是在t时刻，在模型快照确定的数据环境中，对指定数仓任务的一次执行，执行过程中受到所依赖任务实例集合的约束，在启动执行前，执行完成所有依赖任务实例；所述数据仓库W中数据任务调度的触发方式，包括周期性自动触发和手动触发两类：所述周期性自动触发，用于W中数据任务的正常执行，由调度器按照设置的调度周期执行，数据仓库在指定时间启动周期性调度任务：首先并发执行所有ODS层当前时刻需调度的任务，待上述任务执行完毕后，再按照相同的方式依次执行DWD、DWS、ADS层当前时刻需调度的任务：如果存在依赖任务未成功执行，则当前任务也不再执行，直接返回失败，等待手动触发任务重跑；所述基于多维依赖的数据仓库任务分层调度方法，具体包括以下步骤，用于处理周期性触发的任务调度和手动触发的任务调度：流程1：数据任务的周期调度由数据仓库自动触发，是数据仓库任务调度最常用的方式，对任意，设置一个调度周期，根据j的首次启动时间和调度周期，确定j每次调度的启动运行时间，提交到调度器按时进行调度，其中每次调度执行的流程如下：步骤1-1：根据任务调度周期和首次执行时刻，筛选出当前时刻t要执行的数据任务集合;步骤1-2：按任务所述层由低到高的顺序依次调用流程4执行步骤4-1中筛选出的数据任务，同层的任务由调度器并行或并发调度，即首先执行t时刻需调度执行的ODS层周期性任务集合中的任务，然后依次执行、、中的任务；流程2：失败数据任务实例批量重跑当出现数据任务实例执行失败时，由工程师手动触发，以按照层次重跑所有失败的数据任务实例；步骤2-1：根据任务实例执行结果，筛选出要重跑的执行失败的周期性数据任务加入集合，对于有多个实例出错任务j，选取最近失败的一个周期调度执行的实例加入到中；步骤2-2：按任务所述层由低到高的顺序依次调用流程3执行步骤3-1中筛选出的数据任务，同层的任务可由调度器并行或并发调度，即首先执行中ODS层的任务，然后依次执行中DWD、ODS、ADS层的失败任务；流程3：指定失败状态的任务实例重跑:程序触发于两种情况，一是由工程师手动触发某个失败任务重跑时，直接执行该流程；二是由其他流程调用；步骤3-1：获取执行失败的周期性执行实例；步骤3-2：执行方法S4依赖任务重复执行检查方法，检查及标记当前任务重复执行情况，如果当前任务已被其他任务实例执行，直接返回执行结果，否则，继续执行本流程后续步骤；步骤3-3：执行方法S1检查时间依赖节点执行状态方法进行时间依赖检查，如果其时间依赖的任务实例尚未执行成功则调用流程3重跑该实例，并等待实例调度执行结束；如果实例重跑失败，本流程失败返回，否则，继续执行本流程后续步骤；步骤3-4：执行方法S2检查数据依赖节点执行状态方法进行数据依赖检查，返回失败的数据依赖集合；如果流程3的调用由流程1或流程2触发，则当非空时本流程失败返回，实例执行状态记录为“由于数据依赖异常而执行失败”；否则，对所有的执行流程3进行重跑，如果未全部重跑成功，本流程失败返回，则执行状态记录为“由于数据依赖异常而执行失败”；否则，继续执行本流程后续步骤；步骤3-5：如果是当前任务的数仓层次，正常调度执行；否则，执行方法S3任务执行实例重跑数据补偿方法进行数据补偿，然后执行方法S5任务执行时对已删除数据的处理方法删除数据；流程4：指定任务新实例执行该程序触发于两种情况：一是由数据仓库工程师手动触发，此时产生的新实例不会被其他实例依赖，如果执行失败也不会被流程2重跑；二是由流程1调用触发，此时程序中产生的新实例为周期性执行实例，可以被其他实例依赖，如果执行失败可以被流程2重跑；步骤4-1：获取要执行的新的任务实例；步骤4-2：执行方法S4依赖任务重复执行检查方法，检查及标记当前任务实例重复执行情况，如果当前任务实例已在本次调度中执行过，直接返回执行结果，否则，继续执行本流程后续步骤；步骤4-3：执行方法S1检查时间维度依赖节点执行状态方法进行时间依赖检查，如果其时间依赖的任务实例尚未执行成功则调用流程3重跑该实例，并等待实例调度执行结束；如果实例重跑失败，本流程失败返回，否则，继续执行本流程后续步骤；步骤4-4：处理数据依赖步骤4-4-1：如果当前流程由手动触发，存在未创建的数据依赖实例，创建并调用流程4执行该实例；等待所有数据依赖实例执行结束，若存在依赖实例未执行成功，则失败返回，实例记录为“由于分层依赖异常而执行失败”，否则，执行步骤5；步骤4-4-2：如果本流程由流程1触发，执行方法S2检查数据依赖节点执行状态方法，得到失败的数据依赖集合；当非空时本流程失败返回，实例执行状态记录为“由于数据依赖异常而执行失败”，否则，执行步骤5；步骤5：调度执行任务内容，然后执行方法S5任务执行时对已删除数据处理方法删除数据。

全文数据：

权利要求：

百度查询： 山东师创云服务有限公司 基于多维依赖的数据仓库任务分层调度方法、系统及程序产品