【Apache Paimon】-- 2 -- 核心特性 （0.9.0）

合并机制

详情

（1）去重（Deduplicate）

去重机制（deduplicate）是默认的数据合并机制。对于多条具有相同primary key的数据，Paimon结果表仅会保留最新一条数据，并丢弃其它具有primary key的数据。

说明

如果最新一条数据是一条delete消息，所有具有该primary key的数据都将被丢弃。

（2）部分更新（Partial Update）

通过指定部分更新机制（partial-update），您可以通过多条消息对数据进行逐步更新，并最终得到完整的数据。具体来说，具有相同primary key的新数据将会覆盖原来的数据，但值为null的列不会进行覆盖。

例如，假设Paimon结果表按顺序收到了以下三条数据：

• <1, 23.0, 10, NULL>

• <1, NULL, NULL, 'This is a book'>

• <1, 25.2, NULL, NULL>

第一列是primary key，则最终结果为<1, 25.2, 10, 'This is a book'>。

说明

• 如果需要流读partial-update的结果，必须将changelog-producer参数设置为lookup或full-compaction。

• partial-update无法处理delete消息。您可以设置partial-update.ignore-delete参数以忽略delete消息。

（3）预聚合（Aggregation）

部分场景下，可能只关心聚合后的值。预聚合机制（aggregation）将具有相同primary key的数据根据您指定的聚合函数进行聚合。对于不属于primary key的每一列，都需要通过fields.<field-name>.aggregate-function指定一个聚合函数，否则该列将默认使用last_non_null_value聚合函数。例如，考虑以下Paimon表的定义。

CREATE TABLE MyTable (
  product_id BIGINT,
  price DOUBLE,
  sales BIGINT,
  PRIMARY KEY (product_id) NOT ENFORCED
) WITH (
  'merge-engine' = 'aggregation',
  'fields.price.aggregate-function' = 'max',
  'fields.sales.aggregate-function' = 'sum'
);

price列将会根据max函数进行聚合，而sales列将会根据sum函数进行聚合。给定两条输入数据 <1, 23.0, 15>和 <1, 30.2, 20>，最终结果为<1, 30.2, 35>。当前支持的聚合函数与对应的数据类型如下：

• sum：支持DECIMAL、TINYINT、SMALLINT、INTEGER、BIGINT、FLOAT和DOUBLE。

• min和max：支持DECIMAL、TINYINT、SMALLINT、INTEGER、BIGINT、FLOAT、DOUBLE、DATE、TIME、TIMESTAMP和TIMESTAMP_LTZ。

• last_value和last_non_null_value：支持所有数据类型。

• listagg：支持STRING。

• bool_and和bool_or：支持BOOLEAN。

说明

• 只有sum函数支持回撤与删除数据，其它聚合函数不支持回撤与删除。如果您需要某些列忽略回撤与删除消息，可以设置'fields.${field_name}.ignore-retract'='true'。

• 如果需要流读aggregation的结果，必须将changelog-producer参数设置为lookup或full-compaction。

参数

说明

类型

必填

默认值

备注

merge-engine

相同primary key数据的合并机制。

String

否

deduplicate

参数取值如下：

• deduplicate：仅保留最新一条。

• partial-update：用最新数据中非null的列更新相同primary key的现有数据，其它列保持不变。

• aggregation：通过指定聚合函数进行预聚合。

关于数据合并机制的具体分析，详情请参见数据合并机制。

模式

详情

Change-log

change-log写入模式是Paimon表的默认写入模式。该写入模式支持根据primary key对数据进行插入、删除与更新，您也可以在该写入模式下使用上文提到的数据合并机制与增量数据产生机制。

Append-only

append-only写入模式仅支持数据的插入，且不支持primary key。该模式比change-log模式更加高效，可在对数据新鲜度要求一般的场景下（例如分钟级新鲜度）作为消息队列的替代品。

关于append-only写入模式的详细介绍，请参见Apache Paimon官方文档。在使用append-only写入模式时，需要注意以下两点：

• 建议您根据实际需求设置bucket-key参数，否则Paimon表将根据所有列的值进行分桶，计算效率较低。

• append-only 写入模式可在一定程度上保证数据的产出顺序，具体的产出顺序为：

  1. 如果两条数据来自不同的分区，若设置了scan.plan-sort-partition参数，则分区值较小的数据将首先产出。否则来自较早创建的分区的数据将首先产出。

  2. 如果两条数据来自同一分区的同一分桶，则较早写入的数据将首先产出。

  3. 如果两条数据来自同一分区的不同分桶，由于不同分桶由不同的并发进行处理，因此不保证两条数据的产出顺序。

参数值

批读行为

流读行为

default

默认值，根据其他参数确定实际的行为。

• 如果设置了scan.timestamp-millis，则行为与from-timestamp参数值相同。

• 如果设置了scan.snapshot-id，则行为与from-snapshot参数值相同；

如果以上两个参数都没有设置，则行为与latest-full参数值相同。

latest-full

读产出表的最新 snapshot。

作业启动时，读首先产出表的最新snapshot，之后持续产出增量数据。

compacted-full

只读取产出表最近一次 compact后的snapshot。

作业启动时，首先产出表最近一次compact后的snapshot，之后持续产出增量数据。

latest

与latest-full相同。

只读取最新的变更数据

from-timestamp

作业启动时不产出snapshot，之后持续产出从scan.timestamp-millis开始（含）的增量数据。

from-snapshot

产出表的snapshot，snapshot编号由scan.snapshot-id指定。即只读取指定 id 的快照中的所有数据。

作业启动时不产出snapshot，之后持续产出从scan.snapshot-id开始（含）的增量数据。即从指定 id 的快照开始读取变更数据(包含后续新增)

from-snapshot-full

与from-snapshot相同。

作业启动时产出表的snapshot，snapshot编号由scan.snapshot-id指定，之后持续产出从scan.snapshot-id开始（不含）的增量数据。