买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:上海通联金融服务有限公司
摘要:本申请属于数据处理技术领域,尤其涉及一种解析多脚本间依赖关系生成AzkabanFlow文件的方法。本申请具体包括S1.设置抓取依赖关系的关键字;S2.待调度的任务名称和指令写入任务文件;S3.需要配置映射关系的任务写入配置文件;S4.Shell、Python脚本间的调用关系写入文件;S5.Azkaban相关配置写入文件;S6.扫描指定目录下的.sql文件,根据关键字解析依赖关系;S7.解析结果写入Flow文件。本申请将任务名称、执行指令和解析到的依赖项等信息写入Flow文件,实现了自动解析,方便快捷地解析脚本间依赖关系,避免遗漏错配是个急需解决的问题。
主权项:1.一种解析多脚本间依赖关系生成AzkabanFlow文件的方法,视系统复杂度和编码规范设置至少一个关键字,其特征在于,1设置关键字:在系统中设置关键字来标识需要处理的任务和脚本;2将任务和指令写入文件:将待调度的任务名称和执行的指令写入文件中,方便后续处理;3配置任务和脚本名称的映射关系:在配置文件中配置任务名称和脚本名称的映射关系,以处理名称不一致的情况;4处理脚本依赖关系:扫描脚本目录,抓取SQL中依赖的表名和脚本名称,并根据存放任务名称的文件找到被依赖的任务;5过滤无效任务:过滤掉不存在的任务和被注释的内容,确保只处理有效的任务;6确定父节点:根据配置文件中的映射关系确定正确的父节点,处理找不到父节点的任务;7生成Azkaban配置文件:将Azkaban相关的配置内容写入Flow文件,至少包括用户名、失败重试次数、失败重试间隔时间和自定义变量;8构建解析流程:将待调度的任务名称、执行的指令和解析到的依赖项依次写入Flow文件,完成解析流程的构建。
全文数据:
权利要求:
百度查询: 上海通联金融服务有限公司 一种解析多脚本间依赖关系生成Azkaban Flow文件的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。