买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京思特奇信息技术股份有限公司申请的专利一种基于参数配置的spark-hbase批量数据快速入库实现方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115687346B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211296531.0，技术领域涉及：G06F16/22；该发明授权一种基于参数配置的spark-hbase批量数据快速入库实现方法及系统是由朱常杰设计研发完成，并于2022-10-21向国家知识产权局提交的专利申请。

本一种基于参数配置的spark-hbase批量数据快速入库实现方法及系统在说明书摘要公布了：本发明公开了一种基于参数配置的spark‑hbase批量数据快速入库实现方法及系统，涉及数据库技术领域，方法包括：针对spark引擎计算得到批量数据向hbase数据库入库的场景，配置hbase表的数据入库合并策略；利用spark引擎对业务数据进行计算，将生成的结果数据集写入hdfs并记录至信息表；根据信息表的文件生成时间顺序不断添加hdfs文件目录，在满足数据入库合并策略的要求时，提交MR任务以生成hfile文件；将hfile文件入库至hbase数据库。通过本发明的技术方案，避免了hbase小文件过多的问题，提升了hbase数据库的读写性能，减少了业务计算耗时。

本发明授权一种基于参数配置的spark-hbase批量数据快速入库实现方法及系统在权利要求书中公布了：1.一种基于参数配置的spark-hbase批量数据快速入库实现方法，其特征在于，包括： 针对spark引擎计算得到批量数据向hbase数据库入库的场景，配置hbase表的数据入库合并策略，所述数据入库合并策略的配置信息包括hbase表名、写hdfs文件时每个分区的数据量、生成hfile文件的最小合并数据量、生成hfile文件的最大合并数据量、数据入库的最大允许延迟时间以及扫描间隔； 利用spark引擎对业务数据进行计算，将生成的结果数据集写入hdfs并记录至信息表，具体过程包括： 所述结果数据集无需组装构建为预设格式，动态计算并缩减所述结果数据集的分区数，根据所述分区数无需排序、直接将所述结果数据集写入hdfs，并记录至本批次的信息表，所述信息表包括流水、表名、hdfs文件目录、数据量、状态及生成时间； 根据所述信息表的文件生成时间顺序不断添加hdfs文件目录，在满足所述数据入库合并策略的要求时，提交MR任务以生成hfile文件； 将所述hfile文件入库至所述hbase数据库。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京思特奇信息技术股份有限公司，其通讯地址为：100086 北京市海淀区中关村南大街6号14层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。