买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:重庆富民银行股份有限公司
摘要:本发明涉及数据处理领域,具体涉及一种基于ELK的日志埋点的业务分析告警系统,包括业务系统,用于执行业务操作和保存业务数据,生成业务的原始日志信息;还包括数据采集模块、预处理模块、处理模块、分析模块和输出模块,其中:数据采集模块,用于采集业务系统的原始日志信息;预处理模块,用于接收原始日志信息,并对原始日志信息进行格式序列化,生成标准日志信息;处理模块,用于通过Logstash收集标准日志信息,并推送给Elasticsearch,通过Elasticsearch对标准日志信息进行聚合;分析模块,用于根据预先配置的告警规则处理Elasticsearch上的标准日志信息,生成告警推送;输出模块,用于接收并显示告警推送;采用本方案能够解决应用程序扩展性较差的问题。
主权项:1.一种基于ELK的日志埋点的业务分析告警系统,包括业务系统,用于执行业务操作和保存业务数据,生成业务的原始日志信息;其特征在于,还包括处理模块、分析模块和输出模块以及设置在业务系统与ELK框架之间的中间服务组件,所述中间服务组件包括数据采集模块和预处理模块,其中,数据采集模块,用于采集业务系统的原始日志信息;预处理模块,用于接收原始日志信息,并对原始日志信息进行格式序列化,生成标准日志信息;处理模块,用于通过Logstash收集标准日志信息,并推送给Elasticsearch,通过Elasticsearch对标准日志信息进行聚合;分析模块,用于根据预先配置的告警规则处理Elasticsearch上的标准日志信息,生成告警推送;输出模块,用于接收并显示告警推送;其中,生成的标准日志信息通过日志框架输出,日志框架为{"appName":"app1","env":"pro","timestamp":具体的timestamp,"ip":"具体的ip","body":{"key1":"value1","key2":"value2"}};所述标准日志信息用于确定某个应用在某个环境的某台服务器上的某个时间点,发生的具体事件,从而能够进行清晰的问题定位,其中body中的业务监控指标属于自定义的内容;所述预处理模块,具体用于读取业务系统中原始日志信息的应用名称、业务指标、应用运行环境信息、运行服务器和业务发生的时间戳;所述预处理模块,还用于在原始日志信息经格式序列化处理生成标准日志信息后,判断标准日志信息是否合格;若合格,则将标准日志信息输出到Logstash进行收集;若不合格,则将该标准日志信息暂存至数据库,并再次提取原始日志信息执行格式序列化,判断两次格式序列化的结果内容是否一致,如果内容相同,则生成告警提示,用于用户及时发现该情况并对此搭建过滤组件;如果不同,则将标准日志信息转发至Logstash中;所述分析模块,具体用于配置数据查询请求,并定时向Elasticsearch上的标准日志信息发送数据查询请求,生成查询结果信息;如果查询结果信息大于预设阈值,则生成告警推送;所述预设阈值为一千万,并通过预先设定select指令访问和查询Elasticsearch中统计出数值字段的总数,如果业务系统的总金额数大于一千万,则触发告警推送。
全文数据:
权利要求:
百度查询: 重庆富民银行股份有限公司 一种基于ELK的日志埋点的业务分析告警系统及方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。