买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京交通大学;中国信息安全测评中心

摘要：本发明提供了一种HDFS存储平台中的文件校验修复方法。包括：客户终端对文件数据进行分块处理后，生成并存储每个文件块的校验值，将各个文件块上传给HDFS存储平台，HDFS存储平台将一个文件块在多个数据节点上备份存储；客户终端向存储某个文件块的各个数据节点发送文件块校验请求，各个数据节点计算出某个文件块的校验值，并返回给客户终端；客户终端将各个数据节点返回的校验值和本地存储的校验值进行比对，根据比对结果确定数据节点上某个文件块的存储状态是否正常，通知存储状态为异常的数据节点对某个文件块进行修复。本发明通过将文件校验信息保存在客户终端本地，客户终端可在本地对HDFS所存文件进行可靠校验，而不需要留存整个文件副本。

主权项：1.一种HDFS存储平台中的文件校验修复方法，其特征在于，包括：客户终端对文件数据进行分块处理后，使用密码学哈希算法生成并存储每个文件块的校验值，将各个文件块上传给HDFS存储平台，HDFS存储平台将各个文件块分布式存储在数据节点上，将一个文件块在多个数据节点上备份存储；当所述客户终端需要校验某个数据块时，向存储某个文件块的各个数据节点发送文件块校验请求，所述各个数据节点使用密码学哈希算法计算出所述某个文件块的校验值，并返回给所述客户终端；所述客户终端将所述各个数据节点返回的所述某个文件块的校验值和本地存储的所述某个文件块的校验值进行比对，根据比对结果确定所述各个数据节点上所述某个文件块的存储状态是否正常，所述客户终端通知存储状态为异常的数据节点对所述某个文件块进行修复；所述的当所述客户终端需要校验某个数据块时，向存储某个文件块的各个数据节点发送文件块校验请求，包括：客户终端上的文件校验模块的处理步骤包括：步骤1、客户终端上的文件校验模块以文件上传时计算的校验值作为参考，每隔一段时间对客户终端自己上传的所有文件进行完整性校验；步骤2、当客户终端需要校验某个文件块时，文件校验模块从HDFS存储平台中的管理节点上查询该文件块对应的数据节点分布信息，客户终端上的文件校验模块查询该文件块的校验信息数据表，从该文件块的校验信息数据表的m个随机序列中随机抽取k个随机序列作为此次校验的随机因素，根据步骤1查询得到的文件块对应的数据节点分布信息向该文件块所在的所有数据节点发送携带文件块的文件块标识信息和随机因素的文件块校验请求；步骤3、客户终端上的文件校验模块将每个数据节点计算并返回的k个校验值与校验信息数据表中存储的校验值做对比，当某个数据节点返回的k个校验值的对比结果都为一致时，则判断该某个数据节点上的上述某个文件块的存储状态为正常；否则，判断该某个数据节点上的上述某个文件块的存储状态出现异常，然后，文件校验模块将存储上述某个文件块的各个数据节点的存储状态为正常或者异常的信息，以及上述k个随机序列发送给客户终端上的文件修复模块；当数据节点接收到客户终端返回的对比结果为不一致后，确定下载的数据块不是完好文件块，继续从其它存储状态为正常的数据节点根据文件路径使用sftp的方式下载文件块，并计算出k个校验值，并将k个校验值返回给客户终端进行对比；所述的客户终端将所述各个数据节点返回的所述某个文件块的校验值和本地存储的所述某个文件块的校验值进行比对，根据比对结果确定所述各个数据节点上所述某个文件块的存储状态是否正常，包括：在客户终端和每个数据节点上设置文件校验模块和文件修复模块；客户终端上的文件修复模块的处理步骤包括如下的处理过程；步骤1、客户终端上的文件修复模块接收到客户终端上的文件校验模块发送过来的存储某个文件块的各个数据节点的存储状态信息后；步骤2、向存储状态为异常的数据节点发送文件块修复请求，该文件块修复请求中携带上述某个文件块的文件标识信息、存储上述某个文件块的存储状态为正常的数据节点的标识信息和k个随机序列，请求存储状态为异常的数据节点对上述某个文件块进行修复；数据节点上的文件修复模块的处理步骤包括如下的处理过程：步骤1、数据节点上的文件修复模块接收到客户终端上的文件修复模块发送过来的文件块修复请求后，确定需要修复的文件块，根据文件块修复请求中携带的存储状态为正常的数据节点的标识信息，从相应数据节点上根据文件路径使用sftp的方式下载文件块；步骤2、数据节点上的文件修复模块根据文件块修复请求中的k个随机序列计算下载的文件块的k个校验值，将计算出的k个校验值返回给客户终端；步骤3、客户终端将返回的k个校验值与本地存储的文件块校验值作对比，将对比结果发送给数据节点；步骤4、当数据节点接收到客户终端返回的对比结果为一致后，确定下载的数据块为完好文件块，利用下载的完好文件块对损坏的文件块进行修复。

全文数据：

权利要求：

百度查询： 北京交通大学 中国信息安全测评中心 HDFS存储平台中的文件校验修复方法