买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本申请提出一种文件存储方法、文件存储装置以及计算机存储介质。文件存储方法包括:响应于文件合并指令,获取已提交的第一临时目录;基于第一临时目录创建第一数据集;遍历第一数据集,按照文件数据量小于预设数据量阈值的小文件创建第二数据集;基于分区值对第二数据集中的小文件进行聚合,创建第三数据集;按照第三数据集对每一第一小文件集合的所有小文件合并为一个大文件存入第二临时目录;响应于所有第一小文件集合合并完成,将第二临时目录的文件提交到最终表目录。通过上述文件存储方法,利用临时目录的技术保证数据一致性,避免脏数据问题,无需用户配置任何参数,无感实现小文件合并,在任务执行过程中将文件合并至最佳大小。
主权项:1.一种文件存储方法,其特征在于,所述文件存储方法包括:响应于文件合并指令,获取已提交的第一临时目录;基于所述第一临时目录创建第一数据集,其中,所述第一数据集存储所有小文件的数据文件路径以及文件数据量;遍历所述第一数据集,按照所述文件数据量小于预设数据量阈值的小文件创建第二数据集,其中,所述第二数据集包括各小文件的分区值;基于所述分区值对所述第二数据集中的小文件进行聚合,创建第三数据集,其中,所述第三数据集包括各分区值对应的第一小文件集合;按照所述第三数据集对每一第一小文件集合的所有小文件合并为一个大文件存入第二临时目录;响应于所有第一小文件集合合并完成,将所述第二临时目录的文件提交到最终表目录。
全文数据:
权利要求:
百度查询: 浙江大华技术股份有限公司 一种文件存储方法、文件存储装置以及计算机存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。