买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人寿保险股份有限公司

摘要：本发明公开了一种Spark应用部署管理方法及相关设备。首先，响应前台的上传指令，将通过权限校验的Spark应用上传至Spark提交机并根据其消费配置划分出对应的Spark集群资源；然后响应前台的部署指令，自动拼接产生Spark应用的启动命令，并将其插入到启动任务表中，定时启动程序在读取启动任务表时读取到启动命令的话，资源管理器使所述Spark应用利用Spark集群的资源开始运行。这种Spark应用部署管理方法能够直观明了的实现Spark应用的管理，通过Spark集群前台页面实现Spark应用的上传和部署，并在前台页面展示出Spark集群的运行状态；简化了操作，提升了可用性。

主权项：1.一种Spark应用部署管理方法，包括：响应于来自前台的上传Spark应用的指令，对所述Spark应用进行权限校验，将通过权限校验的所述Spark应用上传至Spark集群的提交机；根据消费的配置为已上传的所述Spark应用划分对应的Spark集群资源；响应于来自所述前台的部署所述Spark应用的指令，自动拼接得到所述提交机上的所述Spark应用的启动命令，并将已拼接的所述启动命令存放在启动任务表中，当定时程序读取到所述启动任务表中的所述启动命令时，资源管理器使所述提交机上的所述Spark应用利用所述Spark集群资源运行；其中，上传所述Spark应用，还包括：在所述前台点击上传后，所述Spark应用的资源包会被存放在服务器的临时目录下，并解压所述资源包，以进行所述权限校验；其中，所述资源包内为3级目录：bin、config、lib，其中：bin中保存主类，config保存配置文件，lib中保存执行依赖的包；其中，所述Spark应用的权限校验，包括：所述权限校验即为对所述config目录下的所述配置文件进行校验；所述校验的内容包括：检查所述Spark应用消费的Kafka中的Topic是否有权限，所述Spark应用的groupid是否规范、唯一，所述Spark应用的配置信息是否完整；其中，为所述Spark应用划分对应的所述Spark集群资源，包括：根据消费的配置划分所述Spark应用对应的核数和内存大小，其计算公式为：核数＝min∑Topic个数*Topic核数，∑分区数内存＝∑Topic个数*Topic内存其中，根据所述Topic每日的消息量对其进行等级划分，每一所述等级对应不同的Topic核数和Topic内存；其中，所述自动拼接得到所述提交机上的所述Spark应用的启动命令，包括：Spark集群后台获取所述Spark应用的配置信息；所述Spark集群后台将所述配置信息拼接进启动命令模板，获取完整的所述启动命令；其中，将通过所述权限校验的所述Spark应用上传至所述Spark集群的提交机时，能够同时上传给多个所述Spark集群的提交机；还包括：上传升级资源包至服务器；解压升级资源包获得新的配置信息；使用新的配置信息替换老旧配置信息并停止Spark应用；将升级资源包上传至FTP服务器以覆盖旧资源包；重新启动Spark应用。

全文数据：

权利要求：

百度查询： 中国人寿保险股份有限公司 一种Spark应用部署管理方法及相关设备