龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：上海柯林布瑞信息技术有限公司
摘要：本公开提供了基于Flink的Hudi表增量数据写入方法及装置，通过提供以Presto为源端，Hudi为接收端的Flink计算引擎；获取Hudi对应的最新数据更新时间，根据最新数据更新时间，构建目标查询语句；驱动Presto执行目标查询语句，在预设源数据库中查询更新时间在最新数据更新时间之后的增量数据；驱动Flink计算引擎将增量数据写入Hudi对应的Hudi表。通过Flink结合Presto引擎查询的能力，将增量的多表关联操作交由Presto，Flink只负责处理简单的转换逻辑，可以适应源端复杂SQL查询后输出到Hudi的写入过程，并结合Hudi高效的更新插入能力建立数据仓库。
主权项：1.基于Flink的Hudi表增量数据写入方法，其特征在于，包括：提供以Presto为源端，Hudi为接收端的Flink计算引擎；获取所述Hudi对应的最新数据更新时间，根据所述最新数据更新时间，构建目标查询语句；驱动所述Presto执行所述目标查询语句，在预设源数据库中查询更新时间在所述最新数据更新时间之后的增量数据，其中，所述Presto的查询操作关联所述预设源数据库中的全量表与增量表；驱动所述Flink计算引擎将所述增量数据写入所述Hudi对应的Hudi表。
全文数据：
权利要求：
百度查询： 上海柯林布瑞信息技术有限公司 基于Flink的Hudi表增量数据写入方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号