龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：海南港航控股有限公司;海口港信通科技有限公司
摘要：本申请属于大数据分析领域，具体公开了一种业务大数据联合分析统计方法及装置，方法包括：确定源表数据的数据处理方式，根据源表数据的数据量判别结果，利用开源数据导入工具按照T+1账期方式每日分区全量或增量导入源表数据至Hive表的分区目标表中；通过数据捕获工具监听填报系统数据库的归档日志和BINLOG日志，通过SQL查询接口将归档日志和BINLOG日志写入到Hudi表中；通过流式处理引擎查询Hudi表和Hive表，利用SQL查询接口预先写好的关联逻辑，将归档日志和BINLOG日志与离线数据进行实时关联统计，得到实时目标Hudi表；将指标结果数据或实时目标Hudi表写入Oracle数据库中，以使报表系统从Oracle数据库中获取数据并展示。通过本申请可提高大数据联合分析统计的效率。
主权项：1.一种业务大数据联合分析统计方法，其特征在于，包括：确定源表数据的数据处理方式，所述数据处理方式包括批处理离线链路或流式实时链路；当数据处理方式为批处理离线链路时，根据所述源表数据的数据量判别结果，利用开源数据导入工具按照T+1账期方式每日分区全量或增量导入所述源表数据至Hive表的分区目标表中；将所述分区目标表的数据合并到Hive表数仓的全量完整数据表中，利用查询语言将所述全量完整数据表中的数据进行分层治理，得到指标结果数据；当数据处理方式为流式实时链路时，通过数据捕获工具监听填报系统数据库的归档日志和BINLOG日志，通过SQL查询接口将所述归档日志和BINLOG日志写入到Hudi表中；通过流式处理引擎查询所述Hudi表和所述Hive表，利用所述SQL查询接口预先写好的关联逻辑，将所述归档日志和BINLOG日志与离线数据进行实时关联统计，得到实时目标Hudi表；将所述指标结果数据或实时目标Hudi表写入Oracle数据库中，以使报表系统从Oracle数据库中获取数据并展示。
全文数据：
权利要求：
百度查询： 海南港航控股有限公司 海口港信通科技有限公司 业务大数据联合分析统计方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号