跳过数据

当您将数据写入 Delta Lake 或托管 Apache Iceberg 表时，系统会自动收集数据跳过统计信息。 Azure Databricks在查询时使用每文件统计信息（最小值和最大值、null 计数和总记录），以跳过不相关的文件并加快查询速度。

你必须为 ZORDER 语句中使用的列收集统计信息。 请参阅什么是 Z 排序？

指定统计信息列

对于 Unity 目录 外部表，统计信息默认收集在表架构中定义的前 32 列。 对于 Unity Catalog 托管表，文件跳过统计信息会通过预测性优化进行智能选择，且不受 32 列的限制。 预测优化会自动运行 ANALYZE，用于收集统计信息的命令。 Databricks 建议为所有 Unity Catalog 托管表启用预测优化，以简化数据维护并降低存储成本。 请参阅 Unity Catalog 托管表的预测性优化。

如果不使用预测优化，可以通过设置下表属性之一来修改将统计信息集合限制为 32 列的行为：

可以在创建表时或使用 ALTER TABLE 语句设置表属性。 请参阅 表属性参考。 下面的示例修改了默认的统计信息收集行为，以便在指定的列上收集统计信息：

Delta Lake

ALTER TABLE table_name SET TBLPROPERTIES('delta.dataSkippingStatsColumns' = 'col1, col2, col3')

Iceberg 表

ALTER TABLE table_name SET TBLPROPERTIES('iceberg.dataSkippingStatsColumns' = 'col1, col2, col3')

更新这些属性不会自动重新计算现有数据的统计信息。 相反，在表中添加或更新数据时，它会影响将来的统计信息收集行为。 统计信息不用于当前统计信息列列表中不包含的列。

在 Databricks Runtime 14.3 LTS 及更高版本中，如果更改表属性或更改用于统计信息的指定列，则可以手动使用以下命令重新计算表的统计信息：

ANALYZE TABLE table_name COMPUTE DELTA STATISTICS

什么是 Z 排序？

Z 排序是并置同一组文件中的相关信息的方法。 Azure Databricks 数据跳过算法会自动利用这种共局域性。 此行为可减少需要读取的数据量。 要对数据进行 Z 顺序排序，请在 ZORDER BY 子句中指定排序的列：

OPTIMIZE events
WHERE date >= current_timestamp() - INTERVAL 1 day
ZORDER BY (eventType)

如果希望在查询谓词中常规使用某一列，并且该列具有较高的基数（即包含多个非重复值），请使用 ZORDER BY。

可以将 ZORDER BY 的多个列指定为以逗号分隔的列表。 但是，每个额外列的有效性都会下降。

Databricks 建议不要对未收集统计信息的列使用 ZORDER BY ，因为它无效，并且使用了不必要的计算资源。 数据跳过需要列级统计信息，例如最小值、最大值和计数。 可通过对架构中的列重新排序来对某些列配置统计信息收集，也可增加从中收集统计信息的列数。