买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海中通吉网络技术有限公司

摘要：本发明涉及一种Jupyter容器内动态生成Spark端口访问的方法及设备，属于通信技术领域，通过生成jupyter容器时，自动动态生成不重复的ServiceNodePort,并将spark程序的driver.port和blockManager.port与其绑定，即可实现spark集群访问k8s集群内jupyter容器的driver端，对于原有spark程序只需添加一行配置即可，操作简单，实时生效。

主权项：1.一种Jupyter容器内动态生成Spark端口访问的方法，其特征在于，包括：在启动生成jupyter容器Pod时，动态生成多个不重复的nodePort端口；基于所述nodePort端口，生成绑定jupyterpod的service，并保持port、targetPort、nodePort一致,包括：基于所述nodePort端口，通过yaml生成绑定所述jupyter容器pod的Service，并保持port、targetPort、nodePort完全一致；基于保持一致的port、targetPort、nodePort，在jupyter容器内直接使用sparkonyarn的yarn-client模式运行spark作业，并获取交互式输出；所述基于保持一致的port、targetPort、nodePort，在jupyter容器内直接使用sparkonyarn的yarn-client模式运行spark作业，并获取交互式输出，包括：k8s集群每个节点上的nodePort端口代理到jupyter容器pod的对应service服务中，以使k8s集群外部客户端直接访问service入口,包括：Spark的Driver运行在k8s的Pod上，通过Service把targetPort映射到Port，进一步映射到nodePort，打通外部客户端访问k8s集群内部的入口，以使k8s集群外部客户端直接访问service入口；在jupyter容器内直接使用sparkonyarn的yarn-client模式运行spark作业，并获取交互式输出,包括：将JupyterPod作为初始化SparkContext的Client端，与Spark集群进行通信交互；通过Spark的ApplicationMaster向yarn的ResourceManager申请获取executor资源，AM启动Executor后，yarnNodeManager管理的已分配使用的Executor反向注册到对应申请的Driver端；本地Driver就和申请的executorcontainer通信，来进行各个Task任务调度；以及，Executor将各个Task的运行状态汇报给Driver端，实现yarn-client模式的交互式开发。

全文数据：

权利要求：

百度查询： 上海中通吉网络技术有限公司 Jupyter容器内动态生成Spark端口访问的方法及设备