Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 上海昊沧系统控制技术有限责任公司高鑫获国家专利权

上海昊沧系统控制技术有限责任公司高鑫获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉上海昊沧系统控制技术有限责任公司申请的专利用于数据集成平台的ETL任务处理方法、系统、介质及设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117216140B

龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311165357.0,技术领域涉及:G06F16/25;该发明授权用于数据集成平台的ETL任务处理方法、系统、介质及设备是由高鑫;刘舣翔;夏雷;魏海峰设计研发完成,并于2023-09-08向国家知识产权局提交的专利申请。

用于数据集成平台的ETL任务处理方法、系统、介质及设备在说明书摘要公布了:本发明提供了一种用于数据集成平台的ETL任务处理方法、系统、介质及设备,包括:在用户端界面上拖拉拽生成的DAG有向无环图提交到ETL解析器当中;ETL解析器提取出流式算子,并重新生成新的DAG执行图;流式处理算子伴随着上一个任务算子的开始而开始;批式算子任务结束之后,添加发送结束消息;ETL解析器将新的DAG执行图提交到调度器当中,调度算子执行;数据输出算子任务结束之后,调度任务结束接口,通知任务结束。本发明通过将ETL执行过程定义为不同类的算子逻辑,将转换类和输出类的算子定义为流式处理过程,在伴随上一个任务算子开始时而开始,实现流式任务和批式任务同步执行,从而加快了整个ETL任务的处理速度。

本发明授权用于数据集成平台的ETL任务处理方法、系统、介质及设备在权利要求书中公布了:1.一种用于数据集成平台的ETL任务处理方法,其特征在于,包括: 步骤1:根据不同的计算逻辑,使用spark编码生成执行算子,执行算子分类为转换算子和计算算子; 步骤2:根据不同的数据源,使用不同的数据采集框架生成不同的数据输入算子和数据输出算子,数据输入算子根据不同需求使用批式处理或流式处理,数据输出算子使用流式处理; 步骤3:根据算子的执行逻辑的类型,将计算算子和数据输入算子定义为批式算子,将转换算子和数据输出算子定义为流式算子,数据输入算子发放任务结束消息,通知后续算子任务; 步骤4:用户在用户端界面上拖拉拽生成的DAG有向无环图提交到ETL解析器当中; 步骤5:ETL解析器提取出流式算子,并重新生成新的DAG执行图; 步骤6:当连接下一个算子为流式算子时,在上一个流式算子任务开始时,同时通知下一个流式算子开启任务,读取上一个流式算子的计算结果;下一个算子为批式算子时,批式算子在上一个任务结束之后开始; 步骤7:批式算子任务结束之后,添加发送结束消息;流式算子接受到结束消息之后,流式算子任务结束; 步骤8:ETL解析器将新的DAG执行图提交到调度器当中,调度算子执行; 步骤9:数据输出算子任务结束之后,调度任务结束接口,通知任务结束。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海昊沧系统控制技术有限责任公司,其通讯地址为:201100 上海市闵行区光华路2118号B幢212室-A;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。