买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市亲邻科技有限公司

摘要：本发明公开了一种基于binlog与双环形缓冲区的数据推送系统，涉及数据推送技术领域。该系统包括通信连接且用于采用canal组件对业务数据库的数据变动进行监控，获取binlog并对其进行解析的日志订阅单元、用于对binlog解析数据进行预处理操作，并将获取预处理数据制作成宽表存储的数据预处理单元、用于对预处理数据进行分拣并二次处理而获取待推送任务及将其存入任务库中等待调度的规则引擎及任务调度单元以及用于对调度的待推送任务进行推送处理的数据推送单元。本发明通过对binlog进行即时监听、高效解析以及配置自定义规则，实现统一高效的数据推送；并且在对接平台和业务数据量增多的情况下满足多种推送需求。

主权项：1.一种基于binlog与双环形缓冲区的数据推送系统，其特征在于：包括依次通信连接的日志订阅单元、数据预处理单元、规则引擎及任务调度单元和数据推送单元；所述日志订阅单元，采用canal组件对业务数据库的数据变动进行监控，获取所述业务数据库中的binlog并对其进行解析，获取binlog解析数据；所述数据预处理单元，用于对所述binlog解析数据进行预处理操作，获取预处理数据，将所述预处理数据制作成宽表进行存储；所述规则引擎及任务调度单元，用于对所述预处理数据进行分拣，并对分拣后的数据进行二次处理，获取待推送任务；将所述待推送任务存入任务库中等待任务调度中心进行调度；所述数据推送单元，用于对所述任务调度中心调度的所述待推送任务进行推送处理；其中，所述业务数据库的数据变动表示为所述业务数据库执行的写入性操作；其中，所述数据预处理单元包括第一环形缓冲区；所述第一环形缓冲区用于存放所述binlog解析数据；其中，所述数据推送单元包括多种推送服务，多种所述推送服务支持对接平台的多种推送协议类型；根据多种所述推送协议类型设立多个第二环形缓冲区；多个所述第二环形缓冲区用于存放所述待推送任务；所述推送服务包括HTTP推送服务、FTP推送服务和DB推送服务；其中，每个所述推送服务均具有独属线程池；对所述待推送任务进行推送处理，包括如下步骤：S31，将所述待推送任务放入所述第二环形缓冲区中；S32，从所述第二环形缓冲区中读取所述待推送任务；S33，从所述独属线程池中获取相应的所述推送服务进行推送；S34，若推送成功则记录推送日志；若推送失败则由所述任务调度中心再次进行任务调度；其中，所述第二环形缓冲区在单生产单消费的模式下为无锁状态；其中，所述第二环形缓冲区进行内存的预先申请。

全文数据：

权利要求：

百度查询： 深圳市亲邻科技有限公司 一种基于binlog与双环形缓冲区的数据推送系统