买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京邮电大学

摘要：本发明公开了一种基于Raft的冷数据存储方法，涉及存储技术领域，包括：在分布式集群中构建多个ECRaft组，所述ECRaft组的组内成员通过选举得到每个组的领导者；领导者在组内周期性地发送心跳，并根据心跳信息预测组内成员状态；客户端写入请求到达后，基于负载情况选择合适的ECRaft组处理；被选择ECRaft组的领导者将写入请求中包含的数据进行纠删编码，并根据预测的组内成员状态生成并分发日志条目；所述领导者通过状态机清理冗余数据并通过心跳同步更新组内成员的相关数据，最终将数据以纠删码片段的形式存储在所述分布式集群中。本发明既节省了冷数据存储过程中的存储空间和网络开销流量，同时提高了该过程的效率。

主权项：1.一种基于Raft的冷数据存储方法，其特征在于，包括以下步骤：在分布式集群中构建多个ECRaft组，所述ECRaft组的组内成员通过选举得到每个ECRaft组的领导者；所述领导者在组内周期性地发送心跳，并根据心跳信息预测组内成员状态；客户端写入请求到达后，基于负载情况选择合适的ECRaft组处理所述写入请求；被选择ECRaft组的领导者将所述写入请求中包含的数据进行纠删编码，并根据预测的组内成员状态生成并分发日志条目；所述领导者通过状态机清理冗余数据并通过心跳同步更新组内成员的相关数据，最终将数据以纠删码片段的形式存储在所述分布式集群中；所述在分布式集群中构建多个ECRaft组，具体包括以下步骤：采用L台服务器组成Multi-ECRaft集群，每台服务器包含若干个工作存储设备和备用存储设备；在每台服务器上均匀选取n块型号相同或者容量差值在预设范围内的工作存储设备并组合得到一个ECRaft组；其中，所选取工作存储设备数量总和为N=2F+1=k+m，k表示存储设备存储数据片段的数量、m表示存储设备存储校验片段的数量、km；重复以上选取及组合过程，直至ECRaft组数量足够或所有服务器上的工作存储设备都被取完，最终得到Q个ECRaft组；所述组合得到一个ECRaft组，具体包括以下步骤：根据纠删码的配置以及集群的服务器数量计算组内成员的分布；统计集群中的存储设备型号和数量，从型号最多的存储设备开始分组，若同型号的存储设备数量不够，则寻找容量差值在预设范围内的存储设备进行补充；统计集群中的每个服务器上某个型号的存储设备数量；从该型号存储设备最多的服务器开始选取，依次从对应的服务器上取得相应数量的工作存储设备且每个服务器保留一定比例的备用存储设备未分配；若每个服务器上存储设备充足，则分配成功，组成ECRaft组并将所述ECRaft组的配置信息加入元数据管理数据库中；若服务器上存储设备不充足，在选择工作存储设备时，所选型号的数量超过所述ECRaft组的一半，则选择容量差值在预设范围内型号的工作存储设备继续组合；若所选型号的数量未超过所述ECRaft组的一半，则中断ECRaft组的选择，重新选择其他型号的存储设备，统计集群中的每个服务器上重新选择型号的存储设备数量并继续进行ECRaft组的组合；所述生成并分发日志条目，具体包括以下步骤：被选择ECRaft组的领导者对写入请求中的数据块进行纠删编码，将所述数据块分成k个大小相同的数据片段，并编码生成m个校验片段；领导者根据预测的组内成员状态决定数据的冗余策略，并将生成的编码片段封装成日志条目分发给组内各个成员，具体为：当所有k+m个成员均被预测为健康时，领导者将所有编码片段分发到对应的成员上，并确保所有片段均已经持久化；当p个成员被预测为无法接收相应片段且p=m时，领导者将故障成员应保存的编码片段持久化到每一个健康的成员中，且健康成员同时保存自己对应的编码片段；当p个成员被预测为无法接收相应片段且pm时，采用副本复制的策略，领导者将完整数据封装为日志条目复制到其他成员中，ECRaft组中半数以上的成员复制成功后即响应客户端成功；在领导者分发日志的过程中，当ECRaft组状态预测错误导致分发日志失败时，领导者重新预测并按照最新的ECRaft组状态重新分发；若重发次数大于系统配置参数q，则领导者采用副本复制策略继续重试。

全文数据：

权利要求：

百度查询： 北京邮电大学 基于Raft的冷数据存储方法