买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安烽火软件科技有限公司申请的专利一种基于Spark SQL的LEFT JOIN连接计算优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115640297B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211260728.9，技术领域涉及：G06F16/22；该发明授权一种基于Spark SQL的LEFT JOIN连接计算优化方法是由赵智峰;李岩;刘奕洋;郑伟;卢兴杨设计研发完成，并于2022-10-14向国家知识产权局提交的专利申请。

本一种基于Spark SQL的LEFT JOIN连接计算优化方法在说明书摘要公布了：本发明提供本发明提供一种基于SparkSQL的LEFTJOIN连接计算优化方法，通过原生SparkSQL提供的规则扩展接口，进行执行计划阶段的新增与重新编排，并使用布隆过滤器BloomFilter技术或位图RoaringBitmap技术实现程序运行时动态生成过滤器，并将过滤器作为过滤条件，尽可能避免无关数据参与计算，减少连接计算LEFTJOIN时的数据量，以此实现SparkSQL在该类场景下连接计算性能的提升和优化，以解决SortMergeJoin模型下连接计算容易出现资源浪费、运行时间偏长、磁盘内存不足时容易出现结果溢出，造成计算作业失败等问题。

本发明授权一种基于Spark SQL的LEFT JOIN连接计算优化方法在权利要求书中公布了：1.一种基于SparkSQL的LEFTJOIN连接计算优化方法，其特征在于，所述LEFTJOIN连接计算优化方法步骤如下： S1：执行计划匹配，匹配计算数据中是否有SortMergeJoin节点； S2：执行计划匹配确认，匹配到执行计划，则会提取连接计算节点类型，反之，规则优化结束； S3：判断小表数据量，根据小表数量选择合适的执行计划，小表数据量小于1亿条数据，则将SparkSQL原生的执行计划插入替换为BloomFilterBoostFilterExec，则优化规则结束；反之，小表数据量大于1亿条数据，则将SparkSQL原生的执行计划插入替换为RoaringBitmapBoostFilterExec，优化规则结束； 步骤S3中，RoaringBitmapBoostFilterExec是一个二元物理执行计划，该执行计划的首先会执行其子计划RoaringBitmapExchangeExec； 所述RoaringBitmapExchangeExec实行前会生成全局位图数据的存储路径BITMAP_PATH，所述RoaringBitmapExchangeExec子计划实行过程分为三个阶段：Map阶段、合并阶段、过滤阶段； 所述Map阶段用以在计算节点分布式初始化位图对象； 所述合并阶段，RoaringBitmapExchangeExec启动Reduce任务合并Map阶段生成的位图数据，并将合并后的位图数据存储至BITMAP_PATH； 所述过滤阶段，RoaringBitmapExchangeExec将BITMAP_PATH变量广播至各计算节点，各计算节点在进行大表数据过滤时，将该位图数据在此路径下加载作为过滤条件。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安烽火软件科技有限公司，其通讯地址为：710077 陕西省西安市长安区坤元路678号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。