Delta Lake 功能兼容性与协议标准

Delta Lake 表协议指定客户端必须支持哪些功能来读取或写入表。 本页介绍协议版本、表功能、兼容性要求以及Azure Databricks如何管理协议升级。 另请参阅 “查看表详细信息”详细信息。

表协议和兼容性

每个 Delta Lake 表都有一个协议规范，该规范指示从表读取和写入表所需的一组功能。 应用程序使用协议规范来确定它们是否可以支持表使用的所有功能。 如果应用程序不支持表的当前协议中的功能，则该应用程序无法读取或写入该表。

Delta Lake 的大多数新功能都需要升级表协议。

下表列出了描述 Delta Lake 协议的关键术语：

写入协议和编写器功能仅影响与编写器客户端的兼容性，允许从旧工作负载对表进行只读访问。

并非所有 Delta Lake 功能彼此兼容。

启用后，无法删除某些表功能。 请参阅删除 Delta Lake 表功能并降级表协议。

协议版本和表功能

所有 Delta Lake 表都包含由和minWriterVersion表示minReaderVersion的基于整数的协议版本。 每个版本将多个功能捆绑在一起，并且功能跨版本累积。 为了符合 Delta Lake 协议，客户端必须对给定版本中的所有功能（包括以前发布的所有功能）实施支持。

在 Databricks Runtime 12.2 LTS 及更高版本中， 表功能 将基于整数的协议替换为指示表使用的功能的精细标志。 这样，客户端和表之间就可以进行精细的兼容性检查。

表写入器功能 会影响写入数据的方式。 它们需要 minWriterVersion=7 但不阻止读取器客户端。

表读取器功能 会影响数据读取方式。 所有读取器功能也是编写器功能，需要 minReaderVersion=3 和 minWriterVersion=7。 客户端无法写入无法读取的表。

启用表功能后，它们将作为或出现在writerFeatures协议readerFeatures中。 Delta Lake 将表协议解析为支持所有已启用功能的最低版本。 请参阅 可能的最低协议。

协议更改

表的协议在以下情况下发生更改：

• 如果启用了新功能，则会升级协议。
• 如果删除了表特性，协议将会降级。

关闭表功能不会导致协议降级。 必须删除该功能才能完全将其从协议中删除。 不是所有表特性都可以删除。 请参阅删除 Delta Lake 表功能并降级表协议。

所有协议更改操作都与并发写入冲突。 流式读取在遇到更改表元数据的提交操作时会失败。 若要继续，请重启受影响的流。 有关建议的方法，请参阅结构化流式处理的生产注意事项。

触发协议升级的内容

启用功能时，会自动升级表协议。

协议升级通过以下方式触发：

• 根据在语句ALTER中使用的CREATE语法自动启用。 例如，在语句中CREATE TABLE，CLUSTER BY自动启用液体聚类分析，并GENERATED ALWAYS AS启用生成的列。
• 通过表属性显式启用。 例如，设置 'delta.enableDeletionVectors' = true 启用删除向量。
• 启用功能可能会自动启用所需的功能。 例如，启用 UniForm 会自动启用列映射，启用液体聚类分析会自动启用检查点 V2。 查看相关Azure Databricks文档，以确定给定功能需要哪些表功能。

读取器功能同时升级读取和写入协议。 例如，列映射是一项读取器功能，需要升级这两种协议，因为数据存储在存储中的方式不同。

编写器功能（如 CHECK 约束）仅升级写入协议。

可能的最低协议

Delta Lake 将表协议解析为支持所有已启用功能的最低版本。 这只能降低 minReaderVersion 或 minWriterVersion永远不会提高它们。 表功能永远不会自动删除。 用于 DROP FEATURE 从协议中删除表功能。

如果在基于整数的较低协议版本完全支持所有启用的功能，该表可能会还原到该版本，并从该协议中删除 readerFeatures 或 writerFeatures 退出该协议。 这不会禁用任何功能。 较低的协议版本会增加兼容性，因为所有客户端都必须尊重它们。

Azure Databricks和 Databricks Runtime 兼容性

Azure Databricks引入了对 Databricks Runtime 版本中新的 Delta Lake 功能的支持：

• 由较低 Databricks Runtime 版本编写的表在更高的 Databricks Runtime 版本中具有完全读取和写入支持。
• 由更高 Databricks Runtime 版本编写的表可能使用较低 Databricks Runtime 版本中不支持的表功能。
• 某些功能允许从较低的 Databricks Runtime 版本写入，而无需完全应用启用的功能的所有优化。

如果仅通过 Azure Databricks 使用 Delta Lake 表，则只需使用最低 Databricks Runtime 要求来跟踪功能支持。 如果从外部系统读取或写入表，则必须验证这些客户端是否支持表上启用的表功能。

后移植表功能支持

在 Databricks Runtime 12.2 LTS 及更高版本中， 表功能 将基于整数的协议替换为指示表使用的功能的精细标志。

Azure Databricks支持 Databricks Runtime 11.3 LTS 及更低版本，而不是仅支持整数协议版本，而仅适用于该版本中已支持的功能。

例如，可以在 Databricks Runtime 9.1 LTS 中使用表功能读取和写入生成的列的表。 但是，无法使用 Databricks Runtime 9.1 LTS 读取和写入使用表功能启用标识列的表，因为标识列需要 Databricks Runtime 10.4 LTS 及更高版本。

将表功能用于支持后移植时，给定 Databricks Runtime 版本中提供的某些操作可能不适用于相应的 OSS Delta Lake 版本。 如果体系结构包括 OSS Delta Lake 客户端，请在在生产表上启用表功能之前测试兼容性。

Delta Lake 功能和所需的 Databricks Runtime 版本

下表列出了 Databricks Runtime 版本，对每项功能提供完全支持，因此支持读取和写入的所有正式版功能。

请参阅 Databricks Runtime 发行说明版本和兼容性。

按协议版本划分的功能

Delta Lake 使用单独的 minReaderVersion 和 minWriterVersion 值来指定协议功能。 开源 Delta Lake 协议已标准化表功能，但某些客户端仍使用旧协议版本控制。 由于某些客户端可能不支持所有功能，Databricks 建议在启用生产表上的新功能之前使用客户端文档进行验证并测试兼容性。

Apache Iceberg 使用单个 format-version 而不是单独的读取器和编写器版本。 Iceberg 格式版本指示哪些功能可用，但不强制使用这些功能。 功能是可选择启用的，但行跟踪在格式版本 3 中是必需的。 当冰山列中的某个功能显示 N/A 时，它是一个特定于增量的功能，没有直接的 Iceberg 等效功能。

下表列出了 Delta Lake 和 Apache Iceberg 表功能的协议版本要求。 特征类型指示某个特征是仅需要在写入时遵循，还是在读取和写入时都需遵循。

（1）：液体聚类实现隐藏分区。

（2）：需要启用列映射。