买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京致远互联软件股份有限公司

摘要：本发明公开了一种基于flink的分布式构建系统及方法，构建系统包括存储层模块、后台服务模块、前台模块、计算能力模块、配置托管模块、任务间信息交换中间件模块、日志组件模块和主控模块，主控模块分别连接存储层模块、后台服务模块、前台模块、计算能力模块、配置托管模块、任务间信息交换中间件模块、日志组件模块，本发明相比于传统的构建系统，本系统具有高代码聚合、高能力扩展、高流程扩展和低维护成本的特点。

主权项：1.一种基于flink的分布式构建系统的构建方法，其特征在于：构建系统包括存储层模块1、后台服务模块2、前台模块3、计算能力模块4、配置托管模块5、任务间信息交换中间件模块6、日志组件模块7和主控模块8，所述主控模块8分别连接存储层模块1、后台服务模块2、前台模块3、计算能力模块4、配置托管模块5、任务间信息交换中间件模块6、日志组件模块7；构建方法包括以下步骤：A、初始化数据：a添加项目信息、本项目的工程信息、消息体模板信息、自动触发信息；bgitlab对应的工程有对应的分支信息，包含一个基础的代码库；cminio中有第一次能用的基础镜像：每次主流程合并成功后会更新这个基础镜像，每个子流程验证的时候会拉取这个最新的基础镜像并更新子流程最新的构建结果；B、向flink中添加算子程序：a通过pom文件中的artifactId、name、version、job_name指定其是哪一个任务；b向flink中添加任务算子监听kafka中具体的topic信息：目前定义的任务有first,build,verify,end,main_merge,install,sonar,weblogic,smoke,unit_test,all_build，对应kafka中的topic同名；根据任务的繁忙和压力情况设置每个任务并发数设置为：1：1：1：1：2：5：5：5：20：15；任务运行和实现逻辑如下：1后台程序根据消息体模板和工程项目的信息渲染成任务链；--类似于把消息体模板中的变量用项目和工程信息进行变量替换；2django后台运行程序会在渲染完消息体模板之后把任务链存到数据库中并同时发送任务链ID到kafka的firsttopic中；3flink中的taskmanager根据自己所注册的任务类型订阅kafka消息，如果收到消息，就根据消息id去数据库中查询完整的任务链信息；所述步骤3具体如下：a根据完整的信息一步一步的执行具体的任务命令；b执行完当前的任务后，根据kafka_out_topic的内容把任务链ID继续发送到对应的topic；c其他任务的taskmanager根据任务类型消费到这条消息后，继续查询数据库完整的任务链信息，获取自己需要执行的操作并执行，然后按照任务链内容继续传递信息到下游的kafkatopic；d重复步骤c，直到最后的job_name是end，结束整体的任务链；任务状态查阅和更新方法如下：每个任务运行完成后会主动去更新整个任务链状态；flinktaskmanager中的解析程序通过日志框架把所有运行中的日志统一输出到日志框架中，可动态滚动方式查阅任务运行状况。

全文数据：

权利要求：

百度查询： 北京致远互联软件股份有限公司 一种基于flink的分布式构建系统及方法