买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:深圳市智慧城市科技发展集团有限公司
摘要:本发明公开了一种异构数据的同步方法、设备及计算机可读存储介质,属于数据处理领域。所述异构数据的同步方法包括以下步骤:基于系统界面接收的配置信息,配置数据集成任务的数据来源、数据去向和任务配置项,并将所述数据集成任务发布;根据所述数据集成任务的任务实例、所述数据来源和所述数据去向,生成集成同步作业和Json模板;在任务调度进程被触发时,根据所述Json模板和所述集成同步作业,生成同步作业Json;基于预设命令触发同步服务组件根据所述同步作业Json执行数据同步任务。通过以上方法,采用集成自动化与批量处理的方式,减少手工操作和工作量,提高异构数据的同步效率。
主权项:1.一种异构数据的同步方法,其特征在于,所述异构数据的同步方法包括以下步骤:基于系统界面接收的配置信息,配置数据集成任务的数据来源、数据去向和任务配置项,并将所述数据集成任务发布;根据所述数据集成任务的任务实例、所述数据来源和所述数据去向,生成集成同步作业和Json模板;其中,所述根据所述数据集成任务的任务实例、所述数据来源和所述数据去向,生成集成同步作业和Json模板的步骤包括:根据所述任务实例、所述数据来源和所述数据去向,配置数据同步策略、调度规则、任务之间的依赖关系和异常处理策略,其中,所述调度规则包括执行时间、执行频率和重试策略,用于确保任务按时、按需地执行,所述依赖关系用于确保任务的执行顺序和关联性,避免数据同步过程中的混乱和错误,其中,所述任务实例包括数据来源的类型、数据格式以及数据的结构和字段映射关系;基于所述数据同步策略、所述调度规则、所述依赖关系和所述异常处理策略,生成所述集成同步作业;基于所述集成同步作业,创建所述Json模板;在任务调度进程被触发时,根据所述Json模板和所述集成同步作业,生成同步作业Json;基于预设命令触发同步服务组件根据所述同步作业Json执行数据同步任务;其中,所述在任务调度进程被触发时,根据所述Json模板和所述集成同步作业,生成同步作业Json的步骤包括:基于所述Json模板,替换填充数据来源和数据去向的连接配置信息;若所述集成同步作业的同步模式为增量方式,根据增量字段、增量值基于所述Json模板填充过滤条件语句;基于所述集成同步作业,替换所述Json模板的占位符;基于所述Json模板的填充内容,生成所述同步作业Json。
全文数据:
权利要求:
百度查询: 深圳市智慧城市科技发展集团有限公司 异构数据的同步方法、设备及计算机可读存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。