买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州睿帆科技有限公司

摘要：本发明提供了一种可扩展的CDC方式达梦数据库同步系统及其应用，其系统包括：多个采集组件用于实时采集达梦数据库的变更数据发送至kafka中；任务管理中心用于将用户提交的变更数据采集任务分发至采集组件，并维护采集组件所有运行中的变更数据采集任务；任务运行状态存储模块用于存储各个变更数据采集任务的任务运行状态信息入库组件用于通过不同的入库连接器连接采集组件中的kafka，将变更数据同步到不同的异构数据库或存储引擎。实现了多个达梦数据库节点的不同变更数据地采集以及同步，并在采集任务数量发生变化时，自动进行采集组件的启动或者下线，保证在任务过多时资源的充足，或者在任务减少时采集资源的不浪费。

主权项：1.一种可扩展的CDC方式达梦数据库同步系统，其特征在于，包括：多个采集组件、任务管理中心、任务运行状态存储模块以及入库组件，其中，采集组件，用于实时采集达梦数据库的变更数据发送至kafka中，并将变更数据采集任务的任务运行状态信息上报至数据任务运行状态存储模块中；其中，每个采集组件同时执行多个变更数据采集任务；任务管理中心，用于将用户提交的变更数据采集任务分发至采集组件，并维护采集组件所有运行中的变更数据采集任务；任务运行状态存储模块，用于存储各个变更数据采集任务的任务运行状态信息；入库组件，用于通过不同的入库连接器连接采集组件中的kafka，将采集组件采集到的变更数据同步到不同的异构数据库或存储引擎；其中，任务管理中心，包括：任务接收单元，用于接收用户提交的达梦数据库的变更数据采集任务以及组件下线存续任务，并进行任务记录，生成任务队列；任务分发单元，用于基于当前正常运行地采集组件的当前任务负载量，对最新变更数据采集任务进行分发；运行控制单元，用于在监测到采集组件运行异常时，控制异常采集组件下线，并将异常采集组件对应的变更数据采集任务发送至任务接收单元进行任务存续，等待任务分发单元进行任务再分发；任务监测单元，用于当变更数据采集任务数量减少时，判断是否存在空闲采集组件，若存在，则控制空闲采集组件下线；否则，获取全部采集组件当前的任务负载总量以及可负载总量，基于可负载总量以及任务负载总量，计算组件任务负载率；当存在组件任务负载率大于等于预设阈值时，判定当前不存在可下线采集组件；当存在组件任务负载率小于预设阈值时，判定当前存在可下线采集组件，基于组件任务负载率以及任务负载总量，参考每个采集组件的当前任务负载量，确定待下线采集组件，并将待下线采集组件对应的变更数据采集任务发送任务接收单元进行任务存续，并等待任务分发单元进行任务再分发。

全文数据：

权利要求：

百度查询： 广州睿帆科技有限公司 一种可扩展的CDC方式达梦数据库同步系统及其应用