买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:天津南大通用数据技术股份有限公司
申请日:2024-12-02
公开(公告)日:2024-12-31
公开(公告)号:CN119226267A
专利技术分类:..数据库设计、管理或维护[2019.01]
专利摘要:本发明提供了一种用于数据库的数据处理优化方法和装置、电子设备以及存储介质,可应用于数据库和大数据技术领域。该方法包括:确定每个存储节点进行分组与聚合处理的原始数据集,并利用混合采样方法从原始数据集中筛选出目标数据子集;利用哈希分片算法对目标数据子集进行独立分片,将映射到不同处理节点中的独立分片结果作为独立数据块,并将原始数据集中的其他数据子集进行初始数据切片;计算初始数据切片结果的平均数据量,基于平均数据量对符合预设再次分片条件的初始数据切片结果进行再次分片,将再次分片的结果作为普通数据块;将独立数据块和普通数据块进行混合排序,通过分布式数据库的多线程数据功能对混合排序的结果进行并发执行。
专利权项:1.一种用于数据库的数据处理优化方法,其特征在于,所述方法包括:确定分布式数据库中每个存储节点需要进行分组与聚合处理的原始数据集,并利用混合采样方法从所述原始数据集中筛选出目标数据子集;利用哈希分片算法对所述目标数据子集进行独立分片,将映射到不同处理节点中的独立分片结果作为独立数据块,并将所述原始数据集中的其他数据子集进行初始数据切片;计算初始数据切片结果的平均数据量,基于所述平均数据量对符合预设再次分片条件的初始数据切片结果进行再次分片,并将再次分片的结果作为普通数据块;将所述独立数据块和所述普通数据块进行混合排序,并通过所述分布式数据库的多线程数据功能对混合排序的结果进行调度以便并发地执行对所述原始数据集的分组与聚合操作。
百度查询: 天津南大通用数据技术股份有限公司 一种用于数据库的数据处理优化方法和装置、电子设备以及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。