买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州玳数科技有限公司

摘要：本发明提供了一种日志采集及日志监控方法、装置，其中，志采集及日志监控方法包括自定义log4jappender对flink日志进行采集写入kafka；改写Flinkclient配置自定义log4jappender；基于flinksql将kafka中的flink日志写入elasticsearch并基于sql算子匹配异常日志，实现对flink日志的采集及监控。其可以根据的自己的需要定义自己的日志格式和添加业务需要的元数据信息，且无需要运维人员单独维护类似logstash的组件，极大的降低了运维成本。

主权项：1.一种日志采集及日志监控方法，其特征在于，包括：自定义log4jappender对flink日志进行采集写入kafka；改写flinkclient配置自定义log4jappender；基于flinksql将kafka中的flink日志写入elasticsearch并基于sql算子匹配异常日志，实现对flink日志的采集及监控；所述自定义log4jappender对flink日志进行采集并写入kafka之前，包括自定义log4jappender的步骤；所述log4jappender的自定义步骤包括：继承类AppenderSkeleton，对kafka的配置参数进行定义；基于activateOptions方法解析kafka配置参数并对kafkaproducer进行初始化；基于append方法从环境变量中解析出任务参数并写入kafka；使用maven插件构建一个包含kafka类的jar包和一个不包含kafka类的jar包，对log4jappender进行配置；所述改写flinkclient配置自定义log4jappender中，改写flinkclient的步骤包括：于onyarn模式下重写类YarnClusterDescriptor，将log4jappender中包含kafka类的jar包和不包含kafka类的jar包以shipfile方式上传到hdfs，同时将不包含kafka类的jar包添加到classpath目录下；于onkubernetes模式下构建镜像，并将log4jappender中不包含kafka类的jar包添加到flinklib目录下，将log4jappender中包含kafka类的jar包添加到flinkopt目录下；增加环境变量TASK_ID和DTSTACK_APPENDER_JAR，其中环境变量DTSTACK_APPENDER_JAR用于指定log4jappender中包含kafka类的jar包的路径；配置log4j.properties，新增所述配置的自定义log4jappender。

全文数据：

权利要求：

百度查询： 杭州玳数科技有限公司 日志采集及日志监控方法、装置