买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州玳数科技有限公司

摘要：本申请公开了一种基于ApacheIceberg的数据表列更新方法及系统，涉及数据处理技术领域，包括以下步骤：构建列更新文件,并在所有数据文件的元数据中添加代表更新列信息的第一字段；获取目标数据表对应的各个数据文件，并根据查询条件从各个数据文件中筛选出若干目标数据文件；根据若干目标数据文件确定待更新数据集，对待更新数据集中的数据进行更新并生成更新记录；从更新记录中提取已更新数据的主键信息和第一字段信息，并将主键信息和第一字段信息写入列更新文件中。本申请通过在ApacheIceberg中新增一种文件类型，只需要写入主键和更新列信息就可以记录完整的更新内容，从而避免写入未被修改的列信息，有效降低了整列更新场景下的存储成本。

主权项：1.一种基于ApacheIceberg的数据表列更新方法，其特征在于，包括以下步骤：构建列更新文件,并在所有数据文件的元数据中添加代表更新列信息的第一字段，所述所有数据文件包含所述列更新文件；获取目标数据表对应的各个数据文件，并根据查询条件从所述各个数据文件中筛选出若干目标数据文件；根据所述若干目标数据文件确定待更新数据集，对所述待更新数据集中的数据进行更新并生成更新记录，包括：确定所述若干目标数据文件中的最小序列号，并记录所述若干目标数据文件中每个第二序列号与其对应目标数据文件间的映射关系，所述第二序列号为所述若干目标数据文件中所有大于所述最小序列号的序列号；加载所述最小序列号对应的全部目标数据文件生成第一结果集，并根据所述映射关系确定每个第二序列号关联的全部目标数据文件；根据每个第二序列号关联的各个目标数据文件的类型对所述第一结果集进行处理得到待更新数据集；其中，所述根据每个第二序列号关联的各个目标数据文件的类型对所述第一结果集进行处理得到待更新数据集，包括：于所述第二序列号关联的目标数据文件为一般数据文件时，将所述目标数据文件中的所有数据添加到所述第一结果集中得到第二结果集；于所述第二序列号关联的目标数据文件为删除数据文件时，删除所述目标数据文件中与所述第二结果集相匹配的所有数据，得到第三结果集；于所述第二序列号关联的目标数据文件为列更新文件时，用所述目标数据文件中的第一字段信息覆盖所述第三结果集中对应原始字段的信息，得到第四结果集，并用所述第四结果集代替所述第一结果集；重复上述步骤，直至所有第二序列号关联的全部目标数据文件均处理完成，并将最后处理的第二序列号对应的第四结果集作为待更新数据集；从所述更新记录中提取已更新数据的主键信息和第一字段信息，并将所述主键信息和第一字段信息写入所述列更新文件中。

全文数据：

权利要求：

百度查询： 杭州玳数科技有限公司 一种基于Apache Iceberg的数据表列更新方法及系统