买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市瑞驰信息技术有限公司

摘要：本发明公开了一种实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统，其中该方法包括步骤：配置含有文件系统hdfs的hadoop大数据环境，及含有对象存储s3的分布式存储软件ceph环境；所述hadoop大数据环境和分布式存储软件ceph环境双方通过namenode节点与ceph‑mon节点通信；通过namenode节点对接文件系统hdfs，通过ceph‑mon节点对接对象存储s3；获取外部数据访问指令；根据所述数据访问指令进行相应的文件系统hdfs和对象存储s3之间的数据访问。本发明打破这种不同文件系统之间的文件互相读取访问的隔离壁垒，实现hadoop文件系统hdfs与对象存储s3数据互相访问读取并共存，让hdfs和对象存储s3优势互补共同促进大数据的发展，扩大大数据应用领域范围。

主权项：1.一种实现hadoop文件系统hdfs与对象存储s3数据互访方法，其特征在于，包括步骤：配置含有文件系统hdfs的hadoop大数据环境，及含有对象存储s3的分布式存储软件ceph环境；所述hadoop大数据环境和分布式存储软件ceph环境双方通过namenode节点与ceph-mon节点通信；通过namenode节点对接文件系统hdfs，通过ceph-mon节点对接对象存储s3；获取外部数据访问指令；根据所述数据访问指令进行相应的文件系统hdfs和对象存储s3之间的数据访问；所述获取外部数据访问指令，包括：hadoop大数据环境的客户端hadoop-client写入大文件时，通过namenode节点计算后算出写到datanode节点中，然后存入hdfs文件系统；所述获取外部数据访问指令，包括：hadoop大数据环境的客户端hadoop-client写入小文件时，通过namenode节点计算后调用ceph-mon信息，然后将文件通过s3接口写入到对象存储里面；所述获取外部数据访问指令，包括：执行MapReduce的时候，文件通过namenode计算元数据信息，在文件系统hdfs和s3对象存储之间互相拷贝；执行MapReduce的时候，计算结果也可根据自定义选择存储到hdfs或者对象存储s3中。

全文数据：

权利要求：

百度查询： 深圳市瑞驰信息技术有限公司 实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统