Apache Paimon | 文件布局
一个表的所有文件都存储在一个基本目录下。Paimon 文件是以分层的方式组织的。下图说明了文件的布局。从一个快照文件开始，Paimon 读取器可以递归地访问表中的所有记录。
快照文件（Snapshot Files）
所有的快照文件都存储在 snapshot 目录中。
一个快照文件是一个 JSON 文件，包含有关此快照的信息，包括：
- 使用的模式文件
- 包含此快照中所有更改的清单列表
清单文件（Manifest Files）
所有清单列表和清单文件都存储在 manifest 目录中。
清单列表是清单文件名称的列表。
清单文件是一个包含有关 LSM 数据文件和变更日志文件的变更文件。例如，在相应的快照中，哪个 LSM 数据文件被创建，哪个文件被删除。
数据文件（Data Files）
数据文件是按分区和桶组织的。每个桶目录包含一个 LSM 树及其变更日志文件。
目前，Paimon 支持使用 orc（默认）、parquet 和 avro 作为数据文件的格式。
LSM 树（LSM Trees）
Paimon 采用 LSM 树（log-structured merge-tree，日志结构合并树）作为文件存储的数据结构。本文档简要介绍了 LSM 树的概念。
Sorted Runs（有序段）
LSM 树将文件组织成几个 Sorted Run。一个 Sorted Run 由一个或多个数据文件组成，每个数据文件正好属于一个 Sorted Run。
数据文件内的记录按其主键进行排序。在一个 Sorted Run 中，数据文件的主键范围不会重叠。
正如你所看到的，不同的 Sorted Run 可能有重叠的主键范围，甚至可能包含相同的主键。当查询 LSM 树时，必须合并所有 Sorted Run，所有具有相同主键的记录必须根据用户指定的合并引擎和每个记录的时间戳进行合并。
写入 LSM 树的新记录首先会缓冲在内存中。当内存缓冲区满时，内存中的所有记录将被排序并刷新到磁盘。这时，就创建了一个新的 Sorted Run。
Compaction（压缩）
当越来越多的记录写入 LSM 树时，Sorted Run 的数量会增加。因为查询 LSM 树需要合并所有的 Sorted Run，太多的 Sorted Run 会导致查询性能变差，甚至是内存溢出。
为了限制 Sorted Run 的数量，我们必须不时地将几个 Sorted Run 合并成一个大的 Sorted Run。这个过程被称为 Compaction（压缩）。
然而，Compaction 操作是一个资源密集型的过程，会消耗一定的 CPU 时间和磁盘 IO，所以太频繁的 Compaction 可能会反过来导致写入速度变慢。这是一个在查询性能和写入性能之间的权衡。Paimon 目前采用与 Rocksdb 的通用压缩策略类似的 Compaction 策略。
默认情况下，当 Paimon 写入器向 LSM 树追加记录时，他们也会根据需要进行 Compaction。用户也可以选择在一个专门的 Compaction 作业中执行所有的 Compaction。有关详细信息，请参阅专用 Compaction 作业。
文件布局示例
Paimon 表 dwd_user 的一级目录结构如下：
1 | $ hadoop fs -ls /fts/default.db/dwd_user |
Paimon 表 dwd_user 的子目录内容如下：
1 | $ hadoop fs -ls -R /fts/default.db/dwd_user/ |
（END）
All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
Related Articles
2023-09-06
Apache Paimon 0.5正式发布
Apache Paimon 0.5.0-incubating 版本终于在今天正式发布了。有近 100 位贡献者参与了此版本的开发，共完成了 500 多次代码提交，为社区带来了许多令人兴奋的新功能和改进。 该版本的主要亮点功能如下： CDC 数据入湖的功能已经成熟。 引入了标签的概念，为离线数据仓库提供不可变视图。 主键表的动态桶模式已投入生产。 引入仅追加模式可扩展表，以取代 Hive 表。 CDC摄入Paimon 支持多种方式将数据导入 Paimon 表，并支持模式演化。在 0.5 版本中，新增了许多新功能，包括： MySQL 数据表同步 支持将分片数据同步到一个 Paimon 表中。 支持将所有字段类型映射为字符串。 MySQL 数据库同步 支持合并多个数据库中的多个分片数据。 支持 --mode combined 模式，将所有表整合到一个统一的数据汇中进行同步，并支持在不重启作业的情况下同步新增的表。 从 Kafka 同步数据表 将 Kafka 主题里的数据表同步到 Paimon 表中。 支持 Canal 和 OGG 格式。 从 Kafka...
2023-09-11
Apache Paimon 0.5版本震撼发布：数据导入、查询性能再升级
昨日，Apache Paimon 0.5.0-incubating 版本正式发布。这个版本是在近 100 位贡献者的共同努力下完成的，共提交了 500 多次代码改进，为社区带来了许多令人兴奋的新功能和改进。 其中的亮点之一是 CDC（Change Data Capture）数据入湖的功能已经成熟。在 0.5 版本中，引入了标签的概念，为离线数据仓库提供了不可变视图。此外，主键表的动态桶模式也已经投入生产，并引入了仅追加模式可扩展表来取代 Hive 表。 Paimon 支持多种方式将数据导入 Paimon 表，并且支持模式演化。在 0.5 版本中，新增了许多新功能，例如 MySQL 同步表和数据库、Kafka 同步表和数据库以及 MongoDB 同步集合和数据库。 主键表可以通过在创建表的 DDL（数据定义语言）中指定主键来创建，它接受插入、更新或删除记录操作。而动态桶（Dynamic Bucket）模式是通过将 'bucket' 参数设置为 '-1' 来实现的，Paimon...
2023-06-10
Apache Paimon | 基本概念
快照（Snapshot）快照捕获了一个表在某个时间点上的状态。用户可以通过最新的快照来访问一个表的最新数据。通过时间旅行，用户也可以通过较早的快照访问表的先前状态。 分区（Partition）Paimon 采用了与 Apache Hive 相同的分区概念来分离数据。 分区是一种可选的方式，可以根据特定列的值（如日期、城市和部门等）将表划分为相关部分。每个表可以有一个或多个分区键来标识一个特定的分区。 通过分区，用户可以高效地对表中的某一记录切片进行操作。有关如何将文件划分为多个分区的详细信息，请参见文件布局。 如果定义了主键，分区键必须是主键的一个子集。 桶（Bucket）非分区的表或分区表中的分区会被细分为桶，以便为数据提供额外的结构，这可用于更有效的查询。 一个桶的范围是由记录中的一个或多个列的哈希值决定的。用户可以通过提供 bucket-key 选项来指定桶的列。如果没有指定 bucket-key...
2023-06-10
Apache Paimon | 主键表
Changelog 表是创建表时的默认表类型。用户可以插入、更新或删除表中的记录。 主键由一列或多列组成，其值能唯一地标识表中的每一行记录。Paimon 强制对数据进行排序，这意味着系统将对每个桶内的主键进行排序。利用这个特性，用户可以通过在主键上添加过滤条件来实现高性能。 通过在变更日志表上定义主键，用户可以获得以下功能。 合并引擎当 Paimon 接收器（sink）收到具有相同主键的两条或更多记录时，它将把这些记录合并成一条记录以保持主键的唯一性。通过指定 merge-engine 表属性，用户可以选择如何合并记录。 在 Flink SQL TableConfig 中始终将 table.exec.sink.upsert-materialize 设置为NONE，sink upsert-materialize 可能会导致奇怪的行为。当输入乱序时，建议使用 Sequence Field 进行乱序校正。 去重（Deduplicate）deduplicate 合并引擎是默认的合并引擎。Paimon 只会保留最新的记录，并丢弃具有相同主键的其他记录。 具体来说，如果最新的记录是一条...
2023-06-10
Apache Paimon | 仅追加表（Append Only 表）
如果一个表没有定义主键，那么它默认是一个 append-only 表。 你只能向表中插入完整的记录。不支持删除或更新，也不能定义主键。这种类型的表适用于不需要更新的用例（例如日志数据同步）。 分桶（Bucketing）你也可以为 Append-only 表定义桶的数量，见 Bucket。 建议设置 bucket-key 字段。否则，数据会按照整行进行散列，性能会很差。 压缩（Compaction）默认情况下，接收节点（sink 节点）将自动进行压缩以控制文件数量。以下选项控制压缩策略： Key 默认值 类型 描述 write-only false Boolean 如果设置为 true，压缩和快照过期将被跳过。此选项与专门的压缩作业一起使用。 compaction.min.file-num 5 Integer 对于文件集 [f_0,…,f_N]，满足 sum(size(f_i)) >= targetFileSize...
2023-06-10
Apache Paimon | 外部日志系统
除了底层表文件的变更日志外，Paimon 的变更日志也可以存储在外部日志系统中，比如 Kafka，或者从外部日志系统中消费。通过指定 log.system 表属性，用户可以选择使用哪个外部日志系统。 如果选择使用外部日志系统，那么所有写入表文件中的记录也会写入日志系统。因此，流查询产生的变化会从日志系统读取，而不是表文件。 一致性保证默认情况下，日志系统中的变化要等到快照之后才对消费者可见，就像表文件一样。这种行为保证了精确一次的语义。也就是说，每条记录只被消费者看到一次。 但是，用户也可以指定表的属性 'log.consistency' = 'eventual'，这样写进日志系统的变更日志就可以立即被消费者消费，而不用等待下一个快照。这种行为减少了变更日志的延迟，但由于可能发生的故障，它只能保证至少一次的语义（即，消费者可能会看到重复的记录）。 如果设置 'log.consistency' = 'eventual'，为了获得正确的结果，Flink 中的 Paimon...