龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：西安烽火软件科技有限公司
摘要：本发明公开了一种基于HDFS分段加载元数据优化方法，涉及大数据存储领域，在NameNode启动过程中，将磁盘元数据fsimage和edits文件加载到内存中；加载长时间未进行合并的元数据文件，会遇到内存使用量过大，频繁的垃圾回收；在JvmpauseMonitor报告GC警报时，触发本发明的优化逻辑；将当前内存中的文件系统元数据持久到磁盘上，将内存中的元数据保存为fsimage文件，以便下次启动时加载最新的fsinage；通过以上步骤，能够在NameNode元数据长期不合并导致启动加载edit日志GC问题，保存最新元数据到磁盘目录，以实现分段加载元数据，直至成功启动。
主权项：1.一种基于HDFS分段加载元数据优化方法，其特征在于：具体包含如下步骤；步骤1，启动NameNode进程，并初始化后台服务；步骤2，加载fsimage：NameNode会尝试从磁盘或其他持久性存储设备加载最新的fsimage文件；其中，fsimage是一个包含文件系统当前状态的镜像文件；步骤3，加载edits日志：在加载fsimage之后，NameNode会继续加载edit日志文件；NameNode会将edits日志中的操作应用到已加载的fsimage中，已更新文件系统的元数据；步骤4，将当前内存中的文件系统元数据持久到磁盘上，将内存中的元数据保存为fsimage文件；步骤5，构建内存数据结构：若fsimage和edits日志都被加载和合并，NameNode构建内存中的数据结构；步骤6，完成启动过程，当内存数据结构构建完成后，NameNode会准备接受来自客户端的请求，并开始正常运行。
全文数据：
权利要求：
百度查询： 西安烽火软件科技有限公司 一种基于HDFS分段加载元数据优化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号