Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 中电万维信息技术有限责任公司刘兴林获国家专利权

中电万维信息技术有限责任公司刘兴林获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉中电万维信息技术有限责任公司申请的专利一种基于统一调度平台进行kettle数据集成的方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119536751B

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411644036.3,技术领域涉及:G06F8/60;该发明授权一种基于统一调度平台进行kettle数据集成的方法是由刘兴林;徐汉诚;韩吉斌;王军;黄鹏怀设计研发完成,并于2024-11-18向国家知识产权局提交的专利申请。

一种基于统一调度平台进行kettle数据集成的方法在说明书摘要公布了:本发明涉及数据集成技术领域,特别是一种基于统一调度平台进行kettle数据集成的方法。本发明采用的是DolphinScheduler和kettle的结合,将配置的kettle任务放到DolphinScheduler调度平台执行,这样可以充分利用kettle中丰富的组件处理数据,而将任务放置在分布式调度平台中执行,可以提高同步执行的任务数量,将两个软件的优点搭配,实现大批量数据集成任务同步执行,处理海量数据的需求。同时对于服务器新能要求降低,可扩充部署调度平台服务数量来弥补。

本发明授权一种基于统一调度平台进行kettle数据集成的方法在权利要求书中公布了:1.一种基于统一调度平台进行kettle数据集成的方法,其特征在于包括如下步骤: 步骤1:新增任务执行插件包task-kettle,按照调度平台的架构设计,对WorkerServer进行二次开发,添加执行kettle任务的服务包;创建工厂通道,创建通道,构建task任务实现方法;分别新增KettleTaskChannelFactory实现TaskChannelFactory;新建KettleTaskChannel并实现TaskChannel,新建KettleTask继承AbstractTask,构建task的实现方法; 步骤2:引入kettle执行所需要的文件包,其中包含kettle-engine.jar作用的kettle引擎,负责执行kettle的具体作业和转换的逻辑,并会调用core模块;kettle-xml-plugin.jar作用的kettle插件扩展,负责加载kettle的插件服务模块;kettle-metastore.jar作用的kettle元数据,负责管理kettle所有数据库,作业和转换的元数据模块;kettle-db.jar作用的kettle数据源,集成适配数据库模块;kettle-core.jar作用的kettle核心模块,包括一些数据处理, 步骤3:在新增的task-kettle服务里引入DolphinScheduler调度平台的 dolphinscheduler-spi.jar作用的调度平台插件服务发现包, dolphinscheduler-datasource-api.jar作用的调度平台统一数据库管理包, dolphinscheduler-task-api.jar作用的调度平台统一任务管理包; 步骤4:构建task任务,获取执行调度任务所需要的参数TaskParams; 步骤5:根据不同的kettle任务来源,分两种情况: a:通过读取kettle资源库,获取配置的任务信息,集成方法: 在dolphinscheduler管理页面中添加kettle组件,拖拽到任务定义中,在添加或修改kettle任务配置页面中,选择kettle资源库信息,配置任务路径和名称、最大执行时长、回调地址;其他设置,默认使用调度平台自带的配置信息,在dolphinscheduler任务调度中,读取任务配置的数据源,任务名称,路径;通过loadTransformation方法获取kettle的任务信息,对任务进行执行操作; b:通过其他系统调用dolphinscheduler的API接口,进行kettle任务的管理;接口信息里包含xml格式的任务信息和运行参数;将xml格式任务转换成ktr文件,保存到本地文件夹中,系统通过读取本机的ktr文件;进行kettle任务执行操作; 步骤6:在执行过程中,判断任务执行时间,并输出执行日志;当超过任务设置的时间后,就自动停止任务,防止任务长时间执行而造成任务阻塞; 步骤7:任务执行回调,在任务执行完成后,如果需要对执行的结果数据传输到其他系统,在配置任务的时候,将回调地址配置上,这样就可以将任务执行的日志信息、结果信息传输到其他系统进行保存处理; 步骤8:完成以上编码集成后,对dolphinscheduler进行打包,重新部署,完成dolphinscheduler二次开发;对dolphinscheduler任务执行进程数exec-threads进行调整。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中电万维信息技术有限责任公司,其通讯地址为:730000 甘肃省兰州市城关区张苏滩553号(电信第二枢纽B区4-7层);或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。