买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中新宽维传媒科技有限公司
摘要:本申请提供一种分布式日志采集系统及方法,其中系统包括日志模块,用于组装日志数据,并采用生产者消费者模式运行队列中线程向Kafka模块发送日志数据,其中,日志模块包括日志读队列、日志写队列,日志读队列、日志写队列分别作为日志模块的生产者线程队列、消费者线程队列;同一时间日志入队为多线程处理,其他逻辑处理为单线程运行;Kafka模块,设置一个Kafka队列,用来接收日志数据并经由kafka模块中的生产者线程将日志数据转发给Kafka集群,其中,日志模块中消费者线程对应于kafka模块中的生产者线程,且kafka模块中生产者线程以单线程运行,实现无锁数据传输。解决日志异步采集速率不一致问题,同时避免数据丢失问题。
主权项:1.一种分布式日志采集系统,包括:日志模块,用于组装日志数据,并采用生产者消费者模式运行队列中线程向Kafka模块发送日志数据,其中,所述日志模块包括日志读队列、日志写队列,日志读队列、日志写队列分别作为日志模块的生产者线程队列、消费者线程队列,日志模块中生产者线程队列和消费者线程队列随数据传输在日志读队列和日志写队列中切换功能;同一时间日志入队为多线程处理,其他逻辑处理为单线程运行;Kafka模块,设置一个Kafka队列,用来接收日志数据并经由Kafka模块中的生产者线程将所述日志数据转发给Kafka集群,其中,日志模块中消费者线程对应于Kafka模块中的生产者线程,且Kafka模块中生产者线程以单线程运行,实现无锁数据传输。
全文数据:
权利要求:
百度查询: 中新宽维传媒科技有限公司 分布式日志采集系统及方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。