买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：恩亿科(北京)数据科技有限公司

摘要：本申请涉及一种基于TBDSHadoop的Flink集成方法和系统，其中，该方法包括：对FlinkClient的配置文件和验证部分分别进行配置参数增加和兼容修改；在一TBDSHadoopClient上安装FlinkClient，并在TBDSHadoopClient的环境变量中配置安装认证配置；根据TBDSHadoop的当前版本对一Flink‑shaded进行编译并生成对应的版本jar包，将版本jar包存入Flinklib目录中；在配置文件中配置TBDSHadoop的认证配置；FlinkClient提交Flink任务，并依据上述步骤，Flink任务在TBDSHadoop上正常运行。通过修改FlinkClient的配置文件和验证部分，在不影响现有安全认证的前提下增加了TBDSHadoop云环境的安全认证，解决了Flink无法在TBDSHadoop云环境中正常运行的问题，减少基于Flink构建的软件产品部署所需额外的机器资源。

主权项：1.一种基于TBDSHadoop的Flink集成方法，其特征在于，包括以下步骤：Flink配置步骤，对FlinkClient的配置文件和验证部分分别进行配置参数增加和兼容修改；软件安装步骤，在一TBDSHadoopClient上安装所述FlinkClient，并在所述TBDSHadoopClient的环境变量中配置TBDS安装认证配置；版本jar包存储步骤，根据TBDSHadoop的当前版本对一Flink-shaded进行编译并生成对应的版本jar包，将所述版本jar包存入Flinklib目录中；认证配置步骤，在所述配置文件中配置TBDSHadoop的认证配置；任务提交步骤，依据上述步骤，所述FlinkClient提交Flink任务；其中，所述Flink配置步骤具体包括：配置项参数配置步骤，在所述配置文件中增加tbds安全认证所需的所述配置参数，并在Documenttation、SecurityOptions类中增加对应的配置项变量；认证类型判断方法增加步骤，在HadoopUtils类中增加isTBDS方法和isKerberos方法，用于判断认证类型；其中，所述认证配置步骤具体包括：认证类型判断步骤，根据所述isTBDS方法和所述isKerberos方法判断认证类型；TBDS安全认证步骤，当判断当前认证类型是TBDS时，进入普通认证，将所述配置文件中的所述配置参数加入所述FlinkClient获取的Hadoop配置中；Kerberos安全认证步骤，当所述认证类型为Kerberos时，进入安全认证，通过HadoopModule认证类和YarnClusterDescriptor提交类验证Kerberos验证代码；其中，所述TBDS安全认证步骤具体包括：在HadoopUtils类中getHadoopConfiguration方法最后增加所述isTBDS方法的判断，当认证类型为TBDS时，将所述配置参数加入当前Hadoop配置中；所述Kerberos安全认证步骤具体包括：判断当前认证类型为Kerberos时，HadoopModule认证类的install方法中执行相关认证，验证Kerberos的部分代码；FlinkClient执行Flink任务提交的流程中，采用YarnClusterDescriptor提交类的Deployinternal方法和startAppMaster方法验证Kerberos部分代码。

全文数据：

权利要求：

百度查询： 恩亿科(北京)数据科技有限公司 一种基于TBDS Hadoop的Flink集成方法和系统