买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京腾云天下科技有限公司

摘要：提供了一种基于流式计算框架的日志数据处理方法、日志数据处理装置、分布式计算系统和计算机可读存储介质。该日志数据处理方法包括：将从数据源按批次读取的日志数据流进行解析；对经解析的当前批次的日志数据进行第一过滤操作，以得到经过滤的日志数据；使用针对相应M个指标的M个过滤器并行地对经过滤的日志数据进行第二过滤操作，以得到截至当前批次的日志数据针对M个指标的统计结果，其中，第二过滤操作不同于第一过滤操作，并且M为大于等于1的整数；以及缓存经第二过滤操作的M个过滤器和得到的针对M个指标的统计结果，以用于处理下一批次的日志数据。

主权项：1.一种基于流式计算框架的日志数据处理方法，包括：将从数据源按批次读取的日志数据流进行解析；对经解析的当前批次的日志数据进行第一过滤操作，以得到经过滤的日志数据；使用针对相应M个指标的M个过滤器并行地对所述经过滤的日志数据进行第二过滤操作，以得到截至所述当前批次的日志数据针对所述M个指标的统计结果，其中，所述第二过滤操作不同于所述第一过滤操作，并且M为大于等于1的整数；以及缓存经所述第二过滤操作的所述M个过滤器和得到的针对所述M个指标的所述统计结果，以用于处理下一批次的日志数据，其中，所述流式计算框架包括驱动器进程和多个执行器进程，其中，所述驱动器进程被配置为向所述多个执行器进程分配任务，并且所述多个执行器进程被配置为执行所分配的任务并向所述驱动器进程返回执行结果，其中，所述解析、所述第一过滤操作、所述第二过滤操作和所述缓存由所述多个执行器进程执行，其中，所述M个过滤器中的每个过滤器中的过滤器数据被预先切分为N组过滤器数据，以形成N个子过滤器，每个子过滤器包括所述M个过滤器中的每个过滤器中的所述N组过滤器数据中的对应一组，并且其中，所述并行地对所述经过滤的日志数据进行第二过滤操作包括：根据所述经过滤的日志数据包含的多条日志数据各自的唯一标识，将所述多条日志数据切分为N组日志数据，其中，N为大于1的整数；以及使用所述M个过滤器并行地对所述N组日志数据进行所述第二过滤操作，以得到利用所述当前批次的日志数据更新的N组统计结果，每组统计结果包括针对所述相应M个指标的M个指标统计值，其中，所述并行地对所述N组日志数据进行所述第二过滤操作包括：创建与所述N个子过滤器一一对应的N个分区；建立所述N组日志数据与所述N个子过滤器之间的一一对应关系。

全文数据：

权利要求：

百度查询： 北京腾云天下科技有限公司 日志数据处理方法和装置、分布式计算系统以及存储介质