买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜深圳感臻智能股份有限公司申请的专利一种基于Spark Streaming的实时数据更新及管理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113590667B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110600651.4，技术领域涉及：G06F16/2457；该发明授权一种基于Spark Streaming的实时数据更新及管理方法是由仝承建设计研发完成，并于2021-05-31向国家知识产权局提交的专利申请。

本一种基于Spark Streaming的实时数据更新及管理方法在说明书摘要公布了：本发明提出了一种基于SparkStreaming的实时数据更新及管理方法，包括：进行配置资源的参数配置；建立元数据信息库表；解析Kafka数据的源参数，获取实时数据更新；读取元数据信息库中的元数据信息，包括读取元数据信息库中的Kafka数据的描述信息，和，更新元数据信息库中对应元数据后读取；修改hive数据信息；读取Kafka数据，对读取到的批次的Kafka数据进行分区，按照分区将Kafka数据解析映射为数据库表。该实时数据存储及管理方法在新增任务只需要修改元数据信息，新建hive表，SparkStreaming同步元数据信息获取数据新增和变化，把Kafka数据一一解析对应hive的数据类型，数据写入hive并同时更新对应数据的offset信息。

本发明授权一种基于Spark Streaming的实时数据更新及管理方法在权利要求书中公布了：1.一种基于SparkStreaming的实时数据更新及管理方法，其特征在于，所述实时数据存储及管理方法包括：进行配置资源的参数配置；建立元数据信息库表；解析Kafka数据的源参数，获取实时数据更新；读取元数据信息库中的元数据信息，包括读取所述元数据信息库中的所述Kafka数据的描述信息，和，更新所述元数据信息库中对应元数据后读取；修改hive数据信息；读取所述Kafka数据，对读取到的批次的所述Kafka数据进行分区，按照所述分区将所述Kafka数据解析映射为数据库表；所述更新所述元数据信息库中对应元数据后读取包括：更新所述元数据信息库，然后读取对应元数据信息，并作为广播变量进行广播；其中，所述广播变量的更新包括：获取当前系统执行时间；获取前次hiveschema更新时间；若所述当前系统时间的分钟数除以10余数大于1且所述当前系统时间减去所述前次hiveschema更新时间大于10分钟则执行hiveschema信息更新；获取当前最新的元数据信息库中的修改hive数据结构描述信息表中任务相关的sql语句并执行所述sql语句；更新Kafka数据描述信息表中的对应表的字段信息和更新hive表字段描述信息表中的对应表中的字段类型信息；获取所述Kafka数据描述信息表和所述hive表字段描述信息表中更新后的数据；清除Sparkbroadcast的数据，然后重新对Sparkbroadcast的数据进行赋值；所述按照所述分区将所述Kafka数据解析映射为数据库表包括：获取某个所述分区的全部数据；构建一个和hive字段信息一样长的array数组；将所述分区的数据进行Json解析得到hash类型数据，并按照hive中该字段的位置放入array中对应的位置；将array数据序列化；所述分区的数据生成RDD[Row]；所述分区的数据生成的RDD[Row]和structschema信息构建成Spark的DataFrame数据，随后写入hive数据库中的对应表中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳感臻智能股份有限公司，其通讯地址为：518000 广东省深圳市南山区粤海街道科技园社区高新中二道5号生产力大楼D401；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。