龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：西安京迅递供应链科技有限公司
摘要：本发明公开了数据的实时汇总以及区间汇总的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：经由HDFS部署基于HBase的预定数目的RegionServer；RegionServer各自按预定字段并行地进行数据汇总，以及将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。该实施方式降低了完全实时处理和存储；使存储和计算资源放在同一台机器上，最小化数据网络传输从而降低汇总时间；实现对程序无感知的资源扩展；提供对SQL的支持，使可读性更好；以及提供实时汇总和区间汇总两种方式来解决不同数据量场景。
主权项：1.一种数据的实时汇总方法，其特征在于，包括：经由HDFS部署基于HBase的预定数目的RegionServer；RegionServer各自按预定字段并行地进行数据汇总，以及将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总；所述RegionServer各自按预定字段进行数据汇总包括如下步骤：HBase服务器端接收由客户端发送的SQL查询语句；HBase服务器端的所述预定数目的RegionServer按照预定字段解析所接收到的SQL查询语句，以将该SQL查询语句转换为API；以及通过API对预先存储的数据表中的数据进行插入或读取处理，将处理操作之后的所述数据表中的数据在各RegionServer进行数据汇总；其中，所述RegionServer的协处理器中预先嵌入有协处理器程序，该协处理器程序根据预先维护好的元数据中的表数据类型将对应的字段数据转为字符流存入到HBase的表中；所述协处理器程序还将所述字段的数据类型和HBase表的主键形成规则记录到所述元数据中；在HDFS中进行通过API对预先存储的数据表中的数据进行插入或读取处理，并且返回至所述协处理器；在所述插入或读取处理时，进行对应的所述数据类型和主键转换并返回给客户端，以使所述客户端根据返回数据中的键值对所述返回数据进行二次汇总。
全文数据：
权利要求：
百度查询： 西安京迅递供应链科技有限公司 数据的实时汇总以及区间汇总的方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号