买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海七牛信息技术有限公司

摘要：本发明公开了一种高效融合CDN实时日志OLAP存储查询系统及其存储查询方法，属于计算机技术领域，包括：融合CDN厂商日志推送服务模块，用以实现融合厂商供应商的日志推送服务；反向服务器，用以作为融合厂商供应商的日志推送入口，融合CDN厂商日志推送服务模块的输出端与反向服务器的输入端连接；实时日志标准化服务模块，用以收集融合厂商供应商的日志并将其标准化，反向服务器的输出端与实时日志标准化服务模块的输入端连接；Kafka系统，用以存储融合厂商供应商的日志。本发明利用HBase存储特性，提供融合CDN日志的快速顺序写和随机读取要求；利用HBase的MOB特性，有效避免因频繁日志写入导致文件合并的问题。

主权项：1.一种高效融合CDN实时日志OLAP存储查询系统，其特征在于，包括：融合CDN厂商日志推送服务模块1，用以实现融合厂商供应商的日志推送服务；反向服务器2，用以作为融合厂商供应商的日志推送入口，所述融合CDN厂商日志推送服务模块1的输出端与反向服务器2的输入端连接；实时日志标准化服务模块3，用以收集融合厂商供应商的日志并将其标准化，所述反向服务器2的输出端与实时日志标准化服务模块3的输入端连接；Kafka系统4，用以存储融合厂商供应商的日志，所述实时日志标准化服务模块3的输出端与Kafka系统4的输入端连接；Log﹣Server系统5，用以实现预聚合和压缩以及进行高效存储，所述Kafka系统4的输出端与Log﹣Server系统5的输入端连接，包括：实时日志预聚合及日志归类模块51，用以消费kafka日志并且进行按照厂商+域名+时间预聚合和归类，内存中进行聚合，满足大小或者时间策略，进行刷盘写入本地文件系统；以及实时日志上传模块52，用以读取刷盘后的预聚合文件，并将其写入ApacheHBase系统6中；所述Log﹣Server系统5具有OLAP的Roll-up特性：用以实现写入ApacheHBase系统6之前，先在内存中按照厂商+域名+时间维度进行对流量预聚合，避免读取流量的时候进行全量日志读取然后再对计量求和；以及具有OLAP的Drill-down特性：用以将相同维度的日志归类压缩，并采用apacheavro格式进行存储；ApacheHBase系统6，用以存储预聚合后的日志及归类的原始日志，所述Log﹣Server系统5的输出端与ApacheHBase系统6的输入端连接；以及实时日志读取服务模块7，用以根据用户查询条件，搜索日志流量或者查找原始日志，所述ApacheHBase系统6的输出端与实时日志读取服务模块7的输入端连接。

全文数据：

权利要求：

百度查询： 上海七牛信息技术有限公司 一种高效融合CDN实时日志OLAP存储查询系统及其存储查询方法