买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:焦点科技股份有限公司
摘要:本发明公开了一种基于yarn运行的flink实时任务进行管理方法,1发布实时任务:用户通过输入打入私有maven仓的实时任务jar包坐标,进行拉取、发布实时任务,程序将通过用户输入的坐标,拼接为mvn执行命令的shell;2任务的执行:用户通过前端选择列表中的jar包,输入实时任务执行的相关参数,通过ssh的方式提交任务到yarn上,并通过新线程监控提交日志中提交相关内容,返回任务的提交情况,若成功提交,则返回成功状态且将其任务信息记录进mysql中,前端返回对应的日志内容,供用户查看。3已提交的任务监控状态的方式:在提交运行任务后,程序提交任务记录至mysql库中的运行任务表。
主权项:1.一种基于yarn运行的flink实时任务进行管理方法,其特征是,1发布实时任务:用户通过输入打入私有maven仓的实时任务jar包坐标,进行拉取、发布实时任务,程序将通过用户输入的坐标,拼接为mvn执行命令的shell;通过java的ssh相关API,跳转至对应机器上执行shell脚本,拉取对应的任务jar包,若无法拉取则返回错误信息;2任务的执行:用户通过前端选择列表中的jar包,输入实时任务执行的相关参数,如内存、核数、slot数、任务名等基本参数,且可自定义增加参数,程序将其与jar包信息进行拼接,生成提交任务到yarn上的shell命令;通过ssh的方式提交任务到yarn上,并通过新线程监控提交日志中提交相关内容,返回任务的提交情况,若成功提交,则返回成功状态且将其任务信息记录进mysql中,前端返回对应的日志内容,供用户查看;3已提交的任务监控状态的方式:在提交运行任务后,程序会将成功提交的任务记录至mysql库中的运行任务表;存放该任务的各项参数以及日志地址、yarn上的applicationID等内容;系统启动了单独的检查线程,定期检查运行任务表中的任务,调用YARN的API获取对应application的运行状态,若通过非系统的方式异常停止,将会被系统记录并发送任务异常停止告警;4查看任务日志:在任务运行过程中,或任务失败后,实时任务的日志存放路径将被持续记录与mysql库中,当用户在前端选择对应的任务需要查看时,将会调用程序接口,到mysql对应的表中获取日志路径,通过程序获取日志内容并返回前端供给查看;5停止任务:在任务运行时,前端用户可选择两种停止任务方式,分别为普通停止任务和savepoint暂停的方式;其中普通停止任务的方法为将用户选中的运行中任务信息进行拼接,通过yarn的命令来对相应任务进行停止;而savepoint暂停的方式会尝试使用flink的savepoint暂停命令来停止任务,若任务开启的checkpoint,则可正常使用savepoint停止任务并将savepoint路径记录与任务信息中,否则将会普通停止任务,并返回相关报错。
全文数据:
权利要求:
百度查询: 焦点科技股份有限公司 一种基于yarn运行的flink实时任务管理系统方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。