对 Delta 表应用液体聚类分析

Liquid clustering 是 Microsoft Fabric 中 Delta 表的灵活数据布局策略。 它将静态 Hive 样式分区和手动 Z 顺序维护替换为声明性、更改友好的群集。 你定义按哪些列进行聚簇，Fabric Spark 运行时会自动处理数据的物理布局。

使用这篇文章来：

• 了解液体聚类分析的工作原理以及何时使用它。
• 比较液体聚类分析与分区和 Z 顺序。
• 在表上配置聚类分析。
• 了解增量液体聚类分析（运行时 2.0+）。
• 使用会话配置优化群集行为。

什么是液体聚类分析？

Liquid 聚簇对 Delta 表文件中的数据进行组织，使聚簇列中具有相似值的行存放在一起。 该布局支持在查询执行期间实现更高效的文件跳过：当查询按聚簇列进行筛选时，引擎仅读取值范围与谓词条件匹配的文件，跳过其余文件。

与分区不同，液态聚类：

• 不会为每个列值创建物理目录结构。
• 无需在创建表时选择聚类列（之后可再更改）。
• 能够处理高基数列，而不会因成千上万个微小分区而引发潜在的小文件问题。
• 在 OPTIMIZE 期间进行布局优化，而不是在写入时进行。

相较于分区和 Z-Order 的优势

液态聚类相比 Hive 风格分区和 Z-Order，在灵活性、维护成本以及应对不断演变的数据模式方面具有显著优势。

与 Hive 样式分区相比

与 Z-Order 相比

液态聚类在单列布局中使用 Z-Order，在 2 列及以上的布局中使用 Hilbert 曲线——这比 Z-Order 更进一步，因为后者在多维聚类中仅使用 Z-Order 曲线。 Liquid 聚类分析将这两种算法包装在一个增量的元数据感知框架中，以降低持续维护成本。

创建液簇表

在创建表时，使用 CLUSTER BY 子句定义聚类列：

-- Create a new clustered table
CREATE TABLE dbo.sales (
    order_id BIGINT,
    order_date DATE,
    region STRING,
    amount DECIMAL(10,2)
) CLUSTER BY (order_date, region);

-- Create from query results
CREATE TABLE dbo.sales_clustered
CLUSTER BY (order_date, region)
AS SELECT * FROM raw_sales;

-- Enable on existing table
ALTER TABLE dbo.sales_txn CLUSTER BY (order_date, region);

from delta.tables import DeltaTable

DeltaTable.create(spark) \
    .tableName("dbo.sales") \
    .addColumn("order_id", "BIGINT") \
    .addColumn("order_date", "DATE") \
    .addColumn("region", "STRING") \
    .addColumn("amount", "DECIMAL(10,2)") \
    .clusterBy("order_date", "region") \
    .execute()

import io.delta.tables.DeltaTable

DeltaTable.create(spark)
    .tableName("dbo.sales")
    .addColumn("order_id", "BIGINT")
    .addColumn("order_date", "DATE")
    .addColumn("region", "STRING")
    .addColumn("amount", "DECIMAL(10,2)")
    .clusterBy("order_date", "region")
    .execute()

更改聚类列

与分区不同，可以随时更改聚类分析列，而无需重写数据：

-- Change clustering columns
ALTER TABLE sales CLUSTER BY (region, product_category);

-- Remove clustering (table becomes unclustered)
ALTER TABLE sales CLUSTER BY NONE;

更改聚类列后，新布局会在下一次 OPTIMIZE 运行时生效。 现有文件将保留其原有布局，直到它们被重新聚类。

使用 OPTIMIZE 应用聚类分析

在执行 OPTIMIZE 命令期间应用群集。 无需在语句中 OPTIMIZE 指定列，因为聚类分析定义存储在表元数据中：

-- Cluster the table using the defined clustering columns
OPTIMIZE sales;

-- Recluster partial Z-Cubes and Z-Cubes with different clustering keys or clustering providers
OPTIMIZE sales FULL;

当你更改聚簇键并希望重建不符合当前聚簇策略的 Z-Cubes 时，使用 OPTIMIZE FULL。 Z-Cube 是液态聚类用于将具有相同聚类列的文件分组的逻辑单元。 数据聚集到单个 Z 多维数据集中，直到群集密钥更改或数据量超过 100 GB。

液体聚类分析的工作原理

在液体聚集表上运行 OPTIMIZE 时，会发生以下情况：

1. 文件选择：引擎选择需要聚类分析的文件。
   • 在 Runtime 2.0+（增量聚类策略）中，仅选择未聚类的、不健康的、小型的或删除向量文件。
   • 在 Runtime 1.3 中，会选取每个小于 100 GB 的 Z-Cube 中的所有文件，无论这些文件是否已经得到了良好聚类。
2. 装箱算法：将所选文件分组装入多个箱中，以实现最佳输出文件大小。
3. 重新分区：每个分箱中的数据都会使用空间填充曲线重新分区（多列使用 Hilbert 曲线，单列使用 Z-Order 曲线）。
4. 文件写入：重新分区后的数据会作为新文件写入，这些文件在聚类列上的值范围较窄。
5. 元数据更新：Delta 日志记录文件替换，使用群集元数据标记新文件。

最终得到的一组文件在聚簇列上具有互不重叠（或仅有极少重叠）的取值范围，从而使引擎能够跳过与查询谓词不匹配的文件。

增量液体聚类分析

从 Fabric Runtime 2.0（Delta 4.1）开始，液态聚类默认使用 增量聚类策略。 增量策略是对标准聚类分析行为的显著改进。

为什么增量聚类分析策略很重要

标准聚类分析算法在每次运行时都重写 Z 多维数据集OPTIMIZE文件（最多 100 GB），而不管它们是否已完全聚类化。 对于仅追加少量数据的表，聚簇成本会随着表大小线性增长，而不是随着新增数据量增长。

增量模式通过仅选择实际需要聚类分析的文件来解决完全重写问题：

• 未聚类文件：没有聚类元数据的新写入的数据
• 小文件：低于目标文件大小阈值的文件
• 具有删除矢量的文件：累积删除超过清理阈值的文件

已良好聚类且大小合适的文件将被完全跳过。

自动重新聚类

增量液体聚类分析包括自动重叠检测，称为 自动重新聚类分析，以随时间推移保持聚类分析质量。 当新数据到达时，它可以在文件值范围之间创建重叠，从而降低数据跳过有效性。 自动重新聚类可检测跨文件的重叠值范围，并且仅选择性地对受影响的文件重新聚类。

每当有新的或已更改的数据需要进行聚类时，自动重新聚类都会作为 OPTIMIZE 的一部分自动运行。 无需手动干预，也无需计划的全量重新聚簇。 随着数据的发展，增量聚类分析策略保持近乎最佳的聚类分析质量。

恢复为完整重写行为

如果需要禁用增量群集策略并使用完全重写行为，请设置以下配置：

SET spark.microsoft.delta.optimize.clustering.strategy.incremental = FALSE;

OPTIMIZE sales;

spark.conf.set('spark.microsoft.delta.optimize.clustering.strategy.incremental', False)

spark.conf.set("spark.microsoft.delta.optimize.clustering.strategy.incremental", "false")

或者，使用 OPTIMIZE FULL 可在无需更改会话设置的情况下执行一次性完整重新聚类：

OPTIMIZE sales FULL;

配置参考

以下会话配置控制 Fabric Runtime 2.0+ 中的液体聚类分析行为。

增量聚类分析

自动重聚类调优

这些配置控制自动重新聚类的敏感性和范围。 默认值适用于大多数工作负荷。 仅当您需要调整聚类质量和写入放大之间的权衡时，才调整它们。

选择聚类列

为获得最佳结果，请根据最常见的查询筛选器模式选择聚类分析列：

• 选择 1 到 4 列，这些列经常出现在 WHERE 子句中。 更多的列会削弱空间填充曲线按列跳过文件的效果，并增加数据聚类所需的时间。
• 考虑列基数。 低基数列会产生更少的不同值范围，这会在与高基数聚类键结合使用时降低文件跳过带来的收益。
• 列顺序对聚类分析没有影响。 之后 CLUSTER BY 指定的列顺序不会影响生成的多维聚类分析。

支持的列类型

并非所有列类型都可用作聚类键。 引擎评估每个列的数据类型以确定资格。

始终符合条件（原子类型）：

• NumericType（ByteType、、ShortTypeIntegerType、LongType、FloatType、DoubleType、 DecimalType）
• DateType
• TimestampType
• TimestampNTZType
• StringType

有条件符合资格：

• StructType：当启用 spark.microsoft.delta.clusteredTable.complexTypes.enabled 时，且所有叶字段本身都是符合条件的类型。
• ArrayType：当 spark.microsoft.delta.clusteredTable.complexTypes.enabled 已启用，且元素类型符合条件时。
• MapType：启用时 spark.microsoft.delta.clusteredTable.complexTypes.enabled ，键和值类型都是可排序的且符合条件。

不符合条件：

• BinaryType
• BooleanType
• NullType

有关文件级统计信息中使用的对应符合条件的数据类型，请参阅 “文件跳过：符合条件的数据类型”。

与其他功能的交互

最佳做法

• 在批量写入之后或按计划对流式表定期运行OPTIMIZE，但前提是只能在Runtime 2.0 及更高版本中这样做，因为增量聚类策略使频繁运行的成本很低。 在 Runtime 1.3 及更早版本中，每次 OPTIMIZE 运行都会重写低于 100 GB 的 Z-Cubes 中的所有数据，因此应谨慎执行，且不应频繁运行。
• 请谨慎使用OPTIMIZE FULL。 仅在更改聚类列后或需要进行一次性质量重置时再使用它。
• 通过在 Spark UI 或查询计划中查看查询扫描指标（已扫描文件数与文件总数），监控聚簇质量。
• 结合优化写入用于流式工作负载，以确保每个微批次生成数量可控的文件供聚簇使用。

相关内容

• 数据表压缩
• 调整文件大小
• Z-Order
• 分区
• 文件跳过
• 并发控制
• V-Order
• Fabric 中的 Apache Spark 运行时