买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:国网甘肃省电力公司信息通信公司
摘要:本发明涉及日志分析与大数据技术领域,具体涉及一种用于海量日志分析预警的大数据处理系统;包括数据采集模块、第一数据缓冲模块、传输模块、预处理模块、第二数据缓冲模块、数据分类模块、打包模块、解包模块、分析模块、客户端、显示模块和预警模块,数据采集模块从数据源实时收集日志数据,预处理模块对采集到的原始日志数据进行预处理,第二数据缓冲模块对预处理后的日志数据进行临时存储,分析模块对存储的日志数据进行深度分析,预警模块根据分析日志数据,达到预警规则触发告警,并通知管理人员,通过上述方式,通过上述方式,实现了对海量日志数据的高效处理及深度分析,能够满足企业日益增长的需求。
主权项:1.一种用于海量日志分析预警的大数据处理系统,其特征在于,包括数据采集模块、第一数据缓冲模块、传输模块、预处理模块、第二数据缓冲模块、数据分类模块、打包模块、解包模块、分析模块、客户端、显示模块和预警模块,所述预警模块和所述分析模块均与所述客户端连接,所述分析模块、所述解包模块、所述打包模块、所述数据分类模块、所述第二数据缓冲模块、所述传输模块、所述第一数据缓冲模块和所述数据采集模块依次连接,所述预处理模块与所述第一数据缓冲模块连接;所述客户端用于对日志数据进行配置、监控和调度;所述显示模块用于显示日志数据的处理过程,方便用户了解;所述数据采集模块用于从数据源实时收集日志数据;所述第一数据缓冲模块用于接收来自数据源的原始日志数据;所述预处理模块用于对采集到的原始日志数据进行预处理;所述传输模块用于将所述第一数据缓冲模块中的数据传输到所述第二数据缓冲模块;所述第二数据缓冲模块用于对预处理后的日志数据进行临时存储;所述数据分类模块用于对存储的日志数据进行分类;所述打包模块用于将分类后的日志数据按照规定的格式进行打包;所述解包模块用于将打包后的日志数据解包成可处理的格式,并向所述分析模块传输;所述分析模块用于对存储的日志数据进行深度分析,提取有价值的信息和规律;所述预警模块用于根据分析日志数据,达到预警规则触发告警,并通知管理人员。
全文数据:
权利要求:
百度查询: 国网甘肃省电力公司信息通信公司 一种用于海量日志分析预警的大数据处理系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。