广西壮族自治区水利电力勘测设计研究院有限责任公司林小淞获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉广西壮族自治区水利电力勘测设计研究院有限责任公司申请的专利一种适配多种异构数据库的数据变更内容采集方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119513114B 。
龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411506106.9,技术领域涉及:G06F16/23;该发明授权一种适配多种异构数据库的数据变更内容采集方法是由林小淞;欧辉明;龙荣平;舒蜜;陆彬;黄倩颖;黄俊中设计研发完成,并于2024-10-28向国家知识产权局提交的专利申请。
本一种适配多种异构数据库的数据变更内容采集方法在说明书摘要公布了:本发明涉及数据处理技术领域,尤其是一种适配多种异构数据库的数据变更内容采集方法,包括下述步骤:在变更监听平台配置业务服务的监听信息,对所述业务服务注入组件,以向所述监听平台请求拉取所述监听信息的配置,且对异步采集任务进行初始化;所述组件通过JAR包文件的插件,监听数据库变更,所述数据库的日志数据存在变更时,所述插件通过消息中间件RabbitMQ上报所述日志数据;所述变更监听平台通过拉模式进行消息的消费,以在对应的ElasticSearch及对应的HadoopHDFS索引中进行写入变更数据;对数据进行冷热转换。本发明能够进行数据的无缝采集和传输,同时保证了变更采集的实时性、可靠性、幂等性,而且节省数据存储的运维成本。
本发明授权一种适配多种异构数据库的数据变更内容采集方法在权利要求书中公布了:1.一种适配多种异构数据库的数据变更内容采集方法,其特征在于,包括下述步骤: S1.在变更监听平台配置业务服务的监听信息,对所述业务服务注入组件,以向所述变更监听平台请求拉取所述监听信息的配置,且对异步采集任务进行初始化; 步骤S1中,所述监听信息包括服务名、数据库、数据表、表字段、加密字段和加密方法、上报策略、重试策略; S2.所述组件通过JAR包文件的插件,且根据所述监听信息的配置对数据库进行数据采集,以监听数据库变更,且所述数据库的日志数据存在变更时,所述插件对变更的日志数据进行解析后通过消息中间件RabbitMQ上报所述日志数据;在步骤S2中,所述数据库的数据采集内容包括采集目标表、采集字段、字段加密策略; S3.所述变更监听平台通过拉模式进行消息的消费,以在对应的ElasticSearch及对应的HadoopHDFS索引中进行写入变更数据,以将变更数据进行存储,且所述变更监听平台在消费成功后返回成功的ACK;在步骤S3中,所述变更监听平台通过消息中间件RabbitMQ拉取所述日志数据后,将数据投入异步线程中,所述异步线程根据变更对应的配置信息,在对应的ElasticSearch及HadoopHDFS的索引中进行写入; 当写入成功则返回消费成功的ACK;当写入失败则本地重试写入设定次数,且每次的重试设置有间隔时间,在每次本地重试失败后尝试进行回滚,本地重试写入次数达到设定次数后返回消费失败的ACK,所述消息再次进行投递; S4.定时启动冷热转换监听任务,通过访问记录数据库获取数据访问的记录,且根据数据的访问活跃度进行数据冷热转换,以将高活跃的热数据写入至ElasticSearch。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人广西壮族自治区水利电力勘测设计研究院有限责任公司,其通讯地址为:530013 广西壮族自治区南宁市青秀区民主路1-5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励