Bootstrap

【Apache paimon】-- 7 -- tag 创建与管理

目录

1、前言

2、操作说明

2.1、自动创建与删除 Tag

2.2、手动创建和删除 tag

2.3、回退到指定Tag

2.4、查询 tag 元数据和数据

2.4.1、查询 tag 元数据

2.4.2、查询 tag 数据

2.4.3、情景1:读取指定 tag 的数据

2.4.4、情景2:读取两个 tag 间的增量数据

3、其他配置说明

3.1、设置自动创建的 tag 名称格式

3.2、与 Flink Savepoint 结合使用

4、参考


1、前言

       apache paimon 的快照提供了一种非常容易访问历史数据的方法,但 flink job 会生成太多快照。我们通过 tag 策略可以保留重要的快照,删除不重要的 snapshot。创建 tag 的快照,在进入过期清除流程时,快照的元数据与数据文件仍会被持续保存。 

        当快照过期后,利用 tag 仍能追溯查询到特定时间点的数据。在实践中,我们通常每日生成一个 tag ,能够确保对每一天历史数据的持久访问能力,为数据分析、审计和追溯等应用场景提供了支撑。本文将介绍(1)如何自动和手动创建与删除Tag、(2)回退到指定Tag、(3)查询Tag数据及高级配置。

2、操作说明

2.1、自动创建与删除 Tag

      Apache Paimon支持在写入数据的过程中,按照指定参数的配置去自动创建 Tag 以及删除过期的 Tag。配置相关表的参数如下

;