买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东云睿连(武汉)计算技术有限公司

摘要：本申请公开了一种基于Alluxio的大数据作业运行系统和方法，通过基于大数据框架的应用系统向容器化的存储访问控制系统发出访问存储的请求；存储访问控制系统解析请求中请求参数，并下发至容器化的Alluxio系统；Alluxio系统根据请求参数获取对应的数据元信息并返回至存储访问控制系统；存储访问控制系统接收对应的数据元信息并返回至应用系统；应用系统根据对应数据元信息完成对同一节点上Alluxio系统Worker组件中数据操作，从而实现了基于大数据框架的存储与计算分离，通过直接操作与应用系统同一节点上容器化的Alluxio系统中的Worker组件缓存中的数据，避免了访问存储空间带来的网络性能损耗。

主权项：1.一种基于Alluxio的大数据作业运行系统，其特征在于，包括：容器化的基于大数据框架的应用系统、容器化的存储访问控制系统、容器化的Alluxio系统、分布式文件系统和三网络平面结构，所述容器化的存储访问控制系统分别用于与容器化的基于大数据框架的应用系统和所述容器化的Alluxio系统在三网络平面上进行数据交互，所述容器化的Alluxio系统分别用于与容器化的存储访问控制系统和分布式文件系统在三网络平面上进行数据交互，所述容器化的基于大数据框架的应用系统根据计算需求选配，所述分布式文件系统根据存储需求选配，所述三网络平面结构根据网络需求选配；所述容器化的基于大数据框架的应用系统，用于：接收用户下达的计算指令；以及，根据所述计算指令向所述容器化的存储访问控制系统发出访问存储的请求；和或，接收所述容器化的存储访问控制系统反馈数据信息，下发所述请求对应的操作指令；所述容器化的存储访问控制系统，用于：接收所述基于大数据框架的应用系统访问存储的请求；以及，解析所述请求中请求参数，并下发至所述容器化的Alluxio系统；和或，接收所述容器化的Alluxio系统反馈的数据元信息，并将所述数据元信息返回至所述基于大数据框架的应用系统；所述容器化的Alluxio系统，用于：挂载所述分布式文件系统；将所述分布式文件系统中数据缓存至对应Worker节点，并生成数据元信息；将所述数据元信息保存至Master模块中；以及，根据所述容器化的存储访问控制系统下发的请求参数获取对应的数据元信息，并返回至所述容器化的存储访问控制系统；所述分布式文件系统，用于：存储大数据作业的数据；以及，接收所述应用系统下发的操作指令，完成所述请求；所述多重网络结构，用于：提供容器化的基于大数据框架的应用系统中计算集群内部网络通信；提供容器化的基于大数据框架的应用系统中计算集群与容器化的Alluxio系统之间进行通信；以及，提供分布式文件系统内部的存储集群网络通信。

全文数据：

权利要求：

百度查询： 东云睿连(武汉)计算技术有限公司 一种基于Alluxio的大数据作业运行方法和系统