买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜平安国际智慧城市科技股份有限公司申请的专利基于Spark的海量数据排序方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114398998B 。

龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210060271.0，技术领域涉及：G06F18/2113；该发明授权基于Spark的海量数据排序方法、装置、设备及存储介质是由赵英龙设计研发完成，并于2022-01-19向国家知识产权局提交的专利申请。

本基于Spark的海量数据排序方法、装置、设备及存储介质在说明书摘要公布了：本发明涉及大数据领域，公开了一种基于Spark的海量数据排序方法、装置、设备及存储介质。所述方法包括：接收数据排序请求并根据该请求，确定目标弹性分布式数据集，并对其中的每个分区抽样，得到多个样本数据；基于预设分区数量和每个样本数据，计算每个分区的分区边界；根据分区边界，对目标弹性分布式数据集进行数据分区，并对每个分区中的数据排序以得到中间数据序列；从外部存储介质中获取三元组数据，并根据三元组数据对中间数据序列分组全局排序，得到目标数据序列。本发明先通过计算分区边界从而让分区间有序后再分组排序，从而将任意分组中的数据等概率分发至各个分区，从而避免了分组全局排序时的数据倾斜问题，进而提升了服务器的性能。

本发明授权基于Spark的海量数据排序方法、装置、设备及存储介质在权利要求书中公布了：1.一种基于Spark的海量数据排序方法，其特征在于，所述基于Spark的海量数据排序方法包括：接收用户发送的数据排序请求，并根据所述数据排序请求，确定目标弹性分布式数据集；对所述目标弹性分布式数据集中的每个分区分别进行抽样，得到多个样本数据；基于预设分区数量和每个所述样本数据，计算每个所述分区的分区边界；根据每个所述分区的分区边界，对所述目标弹性分布式数据集进行数据分区；根据所述数据排序请求中的排序方式，对数据分区得到的每个分区中的数据进行排序，得到中间数据序列；从预设的外部存储介质中获取三元组数据，并根据所述三元组数据对所述中间数据序列进行分组全局排序，得到目标数据序列，其中，所述三元组数据用于表示每个分区对应的分组需求信息；所述对所述目标弹性分布式数据集中的每个分区分别进行抽样，得到多个样本数据包括：基于预设的计算规则，计算所述目标弹性分布式数据集的抽样数据总量；根据所述抽样数据总量和预设分区数量，计算所述目标弹性分布式数据集的分区最大抽样数量；基于所述抽样数据总量、所述分区最大抽样数量以及水塘抽样算法，对所述目标弹性分布式数据集中的每个分区分别进行抽样，得到多个样本数据；所述基于所述抽样数据总量、所述分区最大抽样数量以及水塘抽样算法，对所述目标弹性分布式数据集中的每个分区分别进行抽样，得到多个样本数据包括：调用Spark算子库中的sketch算子，并将所述抽样数据总量和所述分区最大抽样数量作为所述sketch算子的输入参数进行抽样计算，得到多个样本数据和输出参数，其中，所述输出参数用于描述样本数据的信息和目标弹性分布式数据集的信息；所述输出参数包括所述目标弹性分布式数据集的总数据量和每个所述分区的数据量，在所述调用Spark算子库中的sketch算子，并将所述抽样数据总量和所述分区最大抽样数量作为所述sketch算子的输入参数进行抽样计算，得到多个样本数据和输出参数之后，还包括：根据所述目标弹性分布式数据集的总数据量和所述抽样数据总量，计算所述目标弹性分布式数据集对应的数据抽样率；依次将所述数据抽样率与所述每个所述分区的数据量进行乘积运算，得到每个所述分区对应的实际抽样数量；将每个所述分区对应的实际抽样数量与所述分区最大抽样数量进行比较，并对所述实际抽样数据量大于所述分区最大抽样数量的非均衡分区重新进行抽样计算。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人平安国际智慧城市科技股份有限公司，其通讯地址为：518000 广东省深圳市前海深港合作区妈湾兴海大道3048号前海自贸大厦1-34层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。