买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京神州泰岳软件股份有限公司申请的专利一种数据处理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114676160B 。

龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202011565888.5，技术领域涉及：G06F16/2455；该发明授权一种数据处理方法及系统是由王扬设计研发完成，并于2020-12-25向国家知识产权局提交的专利申请。

本一种数据处理方法及系统在说明书摘要公布了：本发明涉及一种数据处理方法及系统，适用于大数据处理框架，所述框架包括处理引擎、HBase和ElasticSearch，所述方法步骤如下：处理引擎接收数据发送端的数据流，将数据流包含的明细数据录入到HBase中；并对录入HBase中的明细数据进行实时汇总，并周期性对HBase中数据进行查询；HBase向处理引擎返回数据结果集，即HBase数据检索信息；处理引擎将查询到的HBase数据检索信息存储在ElasticSearch；生成并维护HBase数据检索信息和ElasticSearch数据的映射关系。通过本发明的方案确保数据从HBase转存ElasticSearch具有高可用性，降低数据转存ElasticSearch的延迟，提高数据准确度，降低冗余数据，优化了磁盘空间。

本发明授权一种数据处理方法及系统在权利要求书中公布了：1.一种数据处理方法，其特征在于，适用于大数据处理框架，所述框架包括：处理引擎、HBase和ElasticSearch，所述处理引擎为Flink分布式处理引擎，所述方法包括如下步骤： 处理引擎接收数据发送端的数据流，对数据流进行处理，将数据流包含的明细数据录入到HBase中，包括：数据发送端的数据流作为数据输入，当处理引擎接收到数据输入时，将其中包含的明细数据先进行分桶处理，再录入HBase中； 所述分桶处理默认桶的数量为一可调预设值； 处理引擎对录入HBase中的明细数据进行汇总生成汇总数据，并周期性将汇总数据转存在ElasticSearch； HBase集群响应处理引擎转发的、来自数据发送端的数据流，并将数据落地存储到HBase中时，HBase的行主键RowKey采用如下格式：分桶标识+时间颗粒度+时间序列+唯一标识；时间颗粒度与ElasticSearch中颗粒度匹配，通过ElasticSearch查询时，映射到HBase中的该值，时间颗粒度是动态生成的，根据实际情况具体定义； 处理引擎对录入HBase中的明细数据进行实时计算，得到汇总数据，在完成一个时间颗粒度数据之后，查询HBase中的明细数据，根据设定可选择的执行数据清洗； 处理引擎对录入HBase中的明细数据进行实时汇总，并周期性对HBase中数据进行查询；HBase向处理引擎返回数据结果集，所述数据结果集为HBase数据检索信息； 处理引擎将查询到的HBase数据检索信息，存储在ElasticSearch；生成并维护HBase数据检索信息和ElasticSearch数据的映射关系； 所述处理引擎在ElasticSearch中存储HBase数据检索信息，是指：在ElasticSearch中以数据主体的形式存储HBase数据检索信息，所述数据主体为汇总数据；且所述ElasticSearch以如下格式存储HBase的行主键RowKey：时间颗粒度+数据汇总时间+汇总数据量+数据汇总标识； 所述处理引擎生成并维护HBase数据检索信息和ElasticSearch数据的映射关系，是指：建立HBase的行主键RowKey和ElasticSearch的数据关联。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京神州泰岳软件股份有限公司，其通讯地址为：100080 北京市海淀区海淀大街34号8层818室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。