买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中电云计算技术有限公司

摘要：本发明涉及数据重构技术领域，提供一种基于分布式日志差异的数据重构方法和系统，包括：将数据块切片为多个逻辑分片，为每个逻辑分片设置相应的分布式对象和分布式日志对象；根据硬盘池参数将每个逻辑分片的数据存储到对应的硬盘中，在数据存储的过程中将分布式日志对象写入到高速存储介质中生成分布式日志；通过分布式日志获取待恢复数据块的差异数据，对获取的差异数据进行数据恢复。本发明基于分布式日志差异的数据重构方法和系统，可以在进程短暂重启、网络闪断场景下，保证故障硬盘在秒级内切换，较长时间故障，也能通过只对差异数据做恢复，高效恢复故障硬盘。

主权项：1.一种基于分布式日志差异的数据重构方法，其特征在于，所述方法包括：将数据块切片为多个逻辑分片，为每个逻辑分片设置相应的分布式对象和分布式日志对象；根据硬盘池参数将每个逻辑分片的数据存储到对应的硬盘中，在数据存储的过程中将分布式日志对象写入到高速存储介质中生成分布式日志；通过分布式日志获取待恢复数据块的差异数据，对获取的差异数据进行数据恢复；将数据块切片为多个逻辑分片，为每个逻辑分片设置相应的分布式对象和分布式日志对象，包括：根据命名规则将数据块切片为多个逻辑分片，为每个逻辑分片设置多个分布式对象，将设置的多个分布式对象根据命名规则hash到逻辑分片上，在每个设置有分布式对象的逻辑分片上设置分布式日志对象；根据硬盘池参数将每个逻辑分片的数据存储到对应的硬盘中，在数据存储的过程中将分布式日志对象写入到高速存储介质中生成分布式日志，包括：根据硬盘池的硬盘状态以及拓扑结构参数为逻辑分片的数据选择存储的硬盘，采用一个IO写请求将同一个逻辑分片上的数据以及分布式对象存储至相同的存储硬盘；在相同的IO写请求中将逻辑分片上的分布式日志对象写入到对应的高速介质中，将写入的分布式日志对象按照时间顺序写入到分布式日志中，所述分布式日志记录逻辑分片上数据的写入记录，所述写入记录包括日志操作类型、写入数据块的名称、写入数据的时间点；根据硬盘池参数将每个逻辑分片的数据存储到对应的硬盘中，在数据存储的过程中将分布式日志对象写入到高速存储介质中生成分布式日志，包括：将数据和分布式日志对象写入在一个本地事务中，并通过在本地事务中更新元数据的方式将数据写入与分布式日志对象的写入设置在同一个事务中；当数据写入失败或者分布式日志对象写入失败时，副本向主本返回写入失败的信息，主本发起中止所有副本的写入操作，并在高速介质中产生由中止所有副本的写入操作产生逻辑空间的空操作；通过分布式日志获取待恢复数据块的差异数据，对获取的差异数据进行数据恢复，包括：当存储硬盘在故障中恢复后，遍历所有逻辑分片，判断当前逻辑分片的数据是否需要恢复到待数据恢复的硬盘中，若当前逻辑分片的数据不需要恢复到待数据恢复的硬盘中，跳过当前逻辑分片，继续遍历和判断下一个逻辑分片；若当前逻辑分片的数据需要恢复到待数据恢复的硬盘中，读取当前逻辑分片的分布式日志以及当前分片在待数据恢复的硬盘中的本地日志，通过比对读取的分布式日志以及本地日志，获取待恢复数据的最小时间点以及差异数据块名称；根据获取的最小时间点和差异数据块名称，读取对应数据块在最小时间点到当前时间范围内的差异数据，将读取的差异数据写入到待数据恢复的硬盘中，将对应的差异分布式日志写入到数据恢复的硬盘中的本地日志中；在当前逻辑分片的所有差异分布式日志恢复完成后，恢复下一个逻辑分片，在所有逻辑分片完成恢复后，结束对待数据恢复的硬盘的数据重构。

全文数据：

权利要求：

百度查询： 中电云计算技术有限公司 一种基于分布式日志差异的数据重构方法和系统