目录
1、前言
apache paimon 的快照提供了一种非常容易访问历史数据的方法,但 flink job 会生成太多快照。我们通过 tag 策略可以保留重要的快照,删除不重要的 snapshot。创建 tag 的快照,在进入过期清除流程时,快照的元数据与数据文件仍会被持续保存。
当快照过期后,利用 tag 仍能追溯查询到特定时间点的数据。在实践中,我们通常每日生成一个 tag ,能够确保对每一天历史数据的持久访问能力,为数据分析、审计和追溯等应用场景提供了支撑。本文将介绍(1)如何自动和手动创建与删除Tag、(2)回退到指定Tag、(3)查询Tag数据及高级配置。
2、操作说明
2.1、自动创建与删除 Tag
Apache Paimon支持在写入数据的过程中,按照指定参数的配置去自动创建 Tag 以及删除过期的 Tag。配置相关表的参数如下