Compatibilidad de características y protocolos en Delta Lake

Los protocolos de tabla de Delta Lake especifican qué características debe admitir un cliente para leer o escribir una tabla. En esta página se tratan las versiones de protocolo, las características de tabla, los requisitos de compatibilidad y cómo Azure Databricks administra las actualizaciones de protocolo. Consulte también Revisar los detalles de la tabla con detalles de descripción.

Protocolo de tabla y compatibilidad

Cada tabla de Delta Lake tiene una especificación de protocolo que indica el conjunto de funcionalidades necesarias para leer y escribir en la tabla. Las aplicaciones usan la especificación de protocolo para determinar si pueden admitir todas las características que usa la tabla. Si una aplicación no puede admitir una característica en el protocolo actual de una tabla, esa aplicación no puede leer ni escribir esa tabla.

La mayoría de las nuevas funcionalidades de Delta Lake requieren que actualice el protocolo de tabla.

En la tabla siguiente se enumeran los términos clave que describen los protocolos de Delta Lake:

Los protocolos de escritura y las características de escritura solo afectan a la compatibilidad con los clientes de escritura, lo que permite el acceso de solo lectura a la tabla desde cargas de trabajo heredadas.

No todas las características de Delta Lake son compatibles entre sí.

Algunas características de tabla no se pueden quitar una vez habilitadas. Consulte Eliminar una característica de tabla de Delta Lake y degradar el protocolo de tabla.

Versiones de protocolo y características de tabla

Todas las tablas de Delta Lake incluyen una versión de protocolo basada en enteros representada por minReaderVersion y minWriterVersion. Cada versión agrupa varias características y las características se acumulan entre versiones. Para cumplir con el protocolo Delta Lake, los clientes deben implementar compatibilidad con todas las características de una versión determinada, incluidas todas las características publicadas anteriormente.

En Databricks Runtime 12.2 LTS y versiones posteriores, las características de tabla reemplazan el protocolo basado en enteros por marcas granulares que indican qué características usa una tabla. Esto permite comprobaciones de compatibilidad más precisas entre clientes y tablas.

Las características del sistema de escritura de tablas afectan a la forma en que se escriben los datos. minWriterVersion=7 Requieren pero no bloquean los clientes de lector.

Las características del lector de tablas afectan a la forma en que se leen los datos. Todas las características del lector también son características de escritura y requieren minReaderVersion=3 y minWriterVersion=7. Un cliente no puede escribir en una tabla que no pueda leer.

Cuando las características de la tabla están habilitadas, aparecen en el protocolo como readerFeatures o writerFeatures. Delta Lake resuelve el protocolo de tabla en la versión más baja que admite todas las características habilitadas. Consulte Protocolo más bajo posible.

Cambios en el protocolo

El protocolo de una tabla cambia en las condiciones siguientes:

• Si se habilita una nueva característica, se actualiza el protocolo.
• Si se quita una característica de tabla, el protocolo se degrada.

Desactivar una característica de tabla no da lugar a una degradación del protocolo. Debe quitar la característica para quitarla completamente del protocolo. No todas las funcionalidades de la tabla se pueden quitar. Consulte Eliminar una característica de tabla de Delta Lake y degradar el protocolo de tabla.

Todas las operaciones de cambio de protocolo entran en conflicto con escrituras simultáneas. Las lecturas en streaming fallan cuando encuentran un commit que cambia los metadatos de la tabla. Para continuar, reinicie las secuencias afectadas. Para conocer los métodos recomendados, consulte Consideraciones de producción para Structured Streaming.

¿Qué desencadena una actualización de protocolo?

Al habilitar una característica, el protocolo de tabla se actualiza automáticamente.

Las actualizaciones de protocolo se desencadenan de las maneras siguientes:

• Habilite automáticamente en función de la sintaxis usada en CREATE instrucciones o ALTER . Por ejemplo, CLUSTER BY en una CREATE TABLE instrucción habilita automáticamente la agrupación en clústeres líquidos y GENERATED ALWAYS AS habilita las columnas generadas.
• Habilite explícitamente a través de las propiedades de la tabla. Por ejemplo, la configuración 'delta.enableDeletionVectors' = true habilita vectores de eliminación.
• La habilitación de una característica podría habilitar automáticamente las características necesarias. Por ejemplo, habilitar UniForm habilita automáticamente la asignación de columnas y habilita automáticamente la agrupación en clústeres líquidos habilita el punto de control V2. Revise la documentación de Azure Databricks pertinente para determinar qué características de tabla requiere una característica determinada.

Las características del lector actualizan los protocolos de lectura y escritura. Por ejemplo, la asignación de columnas es una característica de lector y requiere actualizar ambos protocolos porque los datos se almacenan de forma diferente en el almacenamiento.

Las características del escritor, como CHECK restricciones, solo actualizan el protocolo de escritura.

Protocolo más bajo posible

Delta Lake resuelve el protocolo de tabla en la versión más baja que admite todas las características habilitadas. Esto solo puede reducir minReaderVersion o minWriterVersion, nunca elevarlos. Las características de tabla nunca se quitan automáticamente. Use DROP FEATURE para quitar una característica de tabla del protocolo.

Si todas las características habilitadas son totalmente compatibles con una versión de protocolo basada en enteros inferior, la tabla podría revertir a esa versión y quitar readerFeatures o writerFeatures desde el protocolo. Esto no deshabilita ninguna característica. Las versiones de protocolo inferiores aumentan la compatibilidad porque todos los clientes deben respetarlos.

compatibilidad de Azure Databricks y Databricks Runtime

Azure Databricks presenta compatibilidad con las nuevas características de Delta Lake en las versiones de Databricks Runtime:

• Las tablas escritas por una versión anterior de Databricks Runtime tienen compatibilidad completa de lectura y escritura en versiones posteriores de Databricks Runtime.
• Las tablas escritas por una versión superior de Databricks Runtime podrían usar características de tabla no admitidas en versiones inferiores de Databricks Runtime.
• Algunas características permiten escrituras de versiones inferiores de Databricks Runtime sin aplicar completamente todas las optimizaciones para la característica habilitada.

Si solo usa tablas de Delta Lake a través de Azure Databricks, solo tiene que realizar un seguimiento de la compatibilidad con características mediante los requisitos mínimos de Databricks Runtime. Si lee o escribe tablas de sistemas externos, debe comprobar que esos clientes admiten las características de tabla habilitadas en las tablas.

Compatibilidad con características de tabla con copia de seguridad

En Databricks Runtime 12.2 LTS y versiones posteriores, las características de tabla reemplazaron el protocolo basado en enteros por marcas granulares que indican qué características usa una tabla.

Azure Databricks tiene compatibilidad con características de tabla con backported a Databricks Runtime 11.3 LTS y versiones posteriores, en lugar de admitir solo versiones de protocolo entero, pero solo para las características que ya se admiten en esa versión.

Por ejemplo, puede leer y escribir en una tabla con columnas generadas habilitadas mediante características de tabla en Databricks Runtime 9.1 LTS. Sin embargo, no puede usar Databricks Runtime 9.1 LTS para leer y escribir en una tabla con columnas de identidad habilitadas mediante características de tabla porque las columnas de identidad requieren Databricks Runtime 10.4 LTS y versiones posteriores.

Al usar características de tabla con compatibilidad con copia de seguridad, es posible que algunas operaciones disponibles en una versión determinada de Databricks Runtime no estén disponibles en la versión correspondiente de Delta Lake del sistema operativo. Si la arquitectura incluye clientes de OSS Delta Lake, pruebe la compatibilidad antes de habilitar las características de tabla en las tablas de producción.

Características de Delta Lake y versiones necesarias de Databricks Runtime

En la tabla siguiente se muestra la versión más baja de Databricks Runtime con compatibilidad completa para cada característica, de modo que se admiten todas las funcionalidades disponibles con carácter general para lecturas y escrituras.

Ver las Notas de la versión de Databricks Runtime: versiones y compatibilidad.

Características por versión de protocolo

Delta Lake utiliza valores separados minReaderVersion y minWriterVersion para especificar capacidades de protocolo. El protocolo Delta Lake de código abierto se ha estandarizado en las características de la tabla, pero algunos clientes siguen usando el control de versiones de protocolo heredado. Dado que es posible que algunos clientes no admitan todas las características, Databricks recomienda comprobar con la documentación del cliente y probar la compatibilidad antes de habilitar nuevas características en tablas de producción.

Apache Iceberg utiliza una única format-version en lugar de versiones de lector y escritor independientes. Una versión de formato de Iceberg indica qué características están disponibles, pero no exige su uso. Las características son opcionales, excepto el seguimiento de filas, que es obligatorio en formato versión 3. Cuando una característica muestra N/A en la columna Incremental, se trata de una característica específica de Delta sin un equivalente directo de Incremental.

En la siguiente tabla se enumeran los requisitos de versión del protocolo para las características de la tabla Delta Lake y Apache Iceberg. El tipo de característica indica si una característica debe respetarse solo para escrituras o para ambas lecturas y escrituras.

(1): La agrupación en clústeres líquidos implementa la creación de particiones ocultas.

(2): Requiere que se habilite la asignación de columnas.