买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合芯科技(苏州)有限公司;合芯科技有限公司

摘要：本发明涉及数据处理技术领域，具体涉及一种HDFS数据监控分析系统、方法、设备及介质。系统包括：HDFS集群文件分析模块，用于获取第三方HDFS集群的元数据存储文件以及操作类数据存储文件并进行运行分析得到第三方HDFS集群文件数据；获取自有HDFS集群的元数据存储文件以及操作类数据存储文件并进行运行分析得到自有HDFS集群文件数据；将文件数据存储至数据库；HDFS集群监控模块，用于监控并获取第三方HDFS集群监控数据和自有HDFS集群监控数据，并存储至数据库；HDFS集群数据可视化模块，用于将文件数据监控数据进行可视化展示。通过第三方以及自有集群分别进行数据分析并进行可视化展示，扩展了可分析的集群范围，进而提升资源利用率，实现实时监控以及数据可视化。

主权项：1.一种HDFS数据监控分析系统，其特征在于，所述系统包括：HDFS集群文件分析模块、HDFS集群监控模块以及HDFS集群数据可视化模块；所述系统还包括：配置模块；配置模块，用于配置自有HDFS集群的名称节点的ip地址和jmx端口地址、自有HDFS集群的元数据存储文件所在的目录地址以及自有HDFS集群的操作类数据存储文件所在的目录地址；HDFS集群文件分析模块，用于获取第三方HDFS集群的元数据存储文件以及操作类数据存储文件并进行运行分析得到第三方HDFS集群文件数据；获取自有HDFS集群的元数据存储文件以及操作类数据存储文件并进行运行分析得到自有HDFS集群文件数据；将所述第三方HDFS集群文件数据以及自有HDFS集群文件数据存储至数据库；其中，所述HDFS集群文件分析模块，包括：第三方HDFS集群文件分析单元，用于定时获取网页上传的第三方HDFS集群的元数据存储文件和操作类数据存储文件，通过运行命令对所述第三方HDFS集群的元数据存储文件进行解析得到第三方元数据存储集群文件数据并写入所述数据库；解析所述第三方HDFS集群的操作类数据存储文件中每一行操作数据，提取有效数据得到第三方操作类数据存储集群文件数据并写入所述数据库；自有HDFS集群文件分析单元，用于读取配置模块中所述自有HDFS集群的元数据存储文件所在的目录地址以及所述自有HDFS集群的操作类数据存储文件所在的目录地址，以定时获取所述自有HDFS集群的元数据存储文件和操作类数据存储文件；通过运行命令对所述自有HDFS集群的元数据存储文件进行解析得到自有元数据存储集群文件数据并写入所述数据库；解析所述自有HDFS集群的操作类数据存储文件中每一行操作数据，提取有效数据得到自有操作类数据存储集群文件数据并写入所述数据库；HDFS集群监控模块，用于获取第三方HDFS集群监控数据和自有HDFS集群监控数据，并将所述第三方HDFS集群监控数据和所述自有HDFS集群监控数据存储至所述数据库；所述HDFS集群监控模块，包括：第三方HDFS集群监控单元，用于通过名称节点的ip以及jmx端口的输入窗口，读取所述第三方HDFS集群的名称节点的jmx信息，以解析得到所述第三方HDFS集群监控数据；自有HDFS集群监控单元，用于通过所述配置模块中HDFS集群的名称节点的ip地址以及jmx端口地址，定时获取所述自有HDFS集群监控数据；HDFS集群数据可视化模块，用于提取所述数据库中所述第三方HDFS集群文件数据、所述自有HDFS集群文件数据、所述第三方HDFS集群监控数据以及所述自有HDFS集群监控数据，并按照预设页面布局框架进行可视化展示。

全文数据：

权利要求：

百度查询： 合芯科技(苏州)有限公司 合芯科技有限公司 一种HDFS数据监控分析系统、方法、设备及介质