Databricks Runtime 19 (beta)

Esta página contiene notas de versión unificadas de Databricks Runtime 19, basado en Apache Spark 4.2.0. Enumera todas las características, los cambios de comportamiento y las correcciones enviadas a lo largo del ciclo de versión de Databricks Runtime 19. Los clústeres reciben actualizaciones cuando se reinician.

Para obtener información sobre el ciclo de vida de soporte técnico de Databricks Runtime, consulte Ciclos de vida de soporte técnico de Databricks.

Databricks Runtime 19 (beta): 15 de junio de 2026

Databricks Runtime 19 ya está disponible en beta, con tecnología de Apache Spark 4.2.0.

Cambios de comportamiento

• JDK 17 eliminado: Databricks Runtime 19 solo admite JDK 21. Anteriormente, Databricks Runtime 18 incluía JDK 17 como opción de reserva que se podía seleccionar mediante la JNAME variable de entorno. Ese mecanismo alternativo ya no está disponible en Databricks Runtime 19. Los clústeres que establecen JNAME=zulu17-ca-amd64 (o el equivalente de ARM) deben quitar esa variable de entorno antes de actualizar.
• Python paquetes eliminados: en comparación con Databricks Runtime 18, se quitan aproximadamente 90 paquetes de tiempo de ejecución estándar en Databricks Runtime 19. Entre los elementos retirados más destacados se incluyen plotly, seaborn, openai, langchain-core, langchain-openai, huggingface_hub, psycopg2 y pyodbc. El servidor agrupado de JupyterLab se divide fuera de la imagen base, quitando alrededor de 54 paquetes relacionados con Jupyter. Las cargas de trabajo que dependen de estos paquetes deben instalarlas explícitamente mediante una biblioteca de clústeres o un script de inicialización. Para obtener la lista completa de paquetes incluidos en Databricks Runtime 19, consulte Bibliotecas de Python instaladas. Para las eliminaciones específicas del entorno de ejecución de ML, consulte Databricks Runtime 19 for Machine Learning (Beta).
• Propiedad de tabla pipelines.pipelineIdreservada: Databricks Runtime 19 reserva la propiedad de tabla pipelines.pipelineId en todas las tablas. Si se intenta establecer esta propiedad manualmente, se produce un error. Quite las asignaciones explícitas pipelines.pipelineId de la tabla DDL antes de actualizar.
• Retardo de la marca de agua del modo en tiempo real desplazado en +1 ms: en las consultas de streaming en modo en tiempo real (RTM), cuando la marca de agua avanza en mitad del lote mediante la propagación de la marca de agua en tiempo real, antes un registro cuyo tiempo de evento era igual a la marca de agua actual se trataba como atrasado y se descartaba. El retardo de la marca de agua de tiempo de evento ahora se desplaza en +1 ms, por lo que la comprobación de registros tardíos pasa a ser estricta en la práctica, y los registros cuyo tiempo de evento es igual a la marca de agua actual ahora se mantienen. El modo microproceso por lotes no se ve afectado.
• Lista de clases permitidas para el checkpoint de DStream obligatoria para tipos personalizados: Apache Spark 4.2.0 introduce un control de seguridad para la deserialización del checkpoint de DStream. Los usuarios que dependen de tipos personalizados o de terceros dentro de los cierres de DStream deben establecerse spark.streaming.checkpoint.allowedClasses en una lista separada por comas de nombres de clase completos o patrones comodín antes de intentar la recuperación del punto de control. La lista de permitidos integrada predeterminada solo cubre los tipos estándar de Spark.

Correcciones y mejoras de Apache Spark

Databricks Runtime 19 incluye Apache Spark 4.2.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 18, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

• is_valid_variant expresión: SQL ahora admite is_valid_variant(expr), que devuelve true si la entrada es un valor VARIANT bien formado y false en caso contrario. Utilice esto para validar los datos de variantes antes del procesamiento posterior.
• INSERT INTO ... REPLACE ON/USING sintaxis: SQL ahora admite la sintaxis INSERT INTO ... REPLACE ON <columns> y INSERT INTO ... REPLACE USING <subquery>, lo que permite operaciones de escritura de tipo upsert que reemplazan las filas existentes basándose en valores coincidentes de las columnas.
• Administración de transacciones DSv2: los catálogos de origen de datos v2 ahora admiten la administración de transacciones, lo que permite escrituras atómicas de varias tablas y lecturas coherentes en las operaciones de catálogo.
• Procesamiento posterior de CDC por lotes con ChangelogTable: SQL ahora admite la lectura de la salida de captura de datos modificados (CDC) como un registro de cambios y calcular los cambios netos en modo por lotes. El analizador ResolveChangelogTable valida el esquema del registro de cambios y calcula los resultados fusionados a partir de filas brutas de CDC.
• TABLESAMPLE SYSTEM muestreo por bloques con delegación de DSv2: TABLESAMPLE SYSTEM ahora es compatible con tablas de Data Source v2, lo que permite que el muestreo por bloques basado en porcentajes se delegue en el origen de datos para mejorar el rendimiento.
• CREATE VIEW y ALTER VIEW para los catálogos DSv2: los catálogos de origen de datos v2 ahora admiten las instrucciones CREATE VIEW y ALTER VIEW, lo que aporta paridad de DDL para vistas a los catálogos que no son Hive.
• CREATE METRIC VIEW en los catálogos V2: CREATE METRIC VIEW ahora se admite en los catálogos de Data Source v2.
• Funciones cuantiles de KLL en SQL: SQL ahora admite de forma nativa funciones de croquis cuantiles KLL con tecnología de Apache DataSketches, incluidas las funciones de cálculo de agregación y CDF para consultas cuantiles aproximadas.
• Funciones de Tuple Sketch en SQL: SQL ahora admite de forma nativa las funciones de agregación Apache Tuple Sketch, lo que permite realizar operaciones aproximadas de intersección y unión de conjuntos sobre cargas útiles de tipo arbitrario.
• withSchemaEvolution() en la API de escritura de DataFrame: La API de escritura de DataFrame ahora incluye withSchemaEvolution(), que permite la evolución automática del esquema al escribir en tablas que la admiten.
• Dataset.zipWithIndex en la API de Scala: La API de Scala Dataset ahora incluye zipWithIndex, que asocia cada elemento con su posición de índice, en consonancia con las API de Python y Java ya existentes.
• UDF escalares en argumentos de función con valores de tabla: SQL ahora admite el uso de funciones escalares definidas por el usuario como argumentos para funciones con valores de tabla, lo que permite una parametrización más completa.
• DataFrameGroupBy.cov en la API de pandas en Spark: la API de pandas en Spark ahora admite DataFrameGroupBy.cov, calcular la covarianza por pares de las columnas dentro de cada grupo.
• SeriesGroupBy.describe en la API de Pandas en Spark: la API de Pandas en Spark ahora admite SeriesGroupBy.describe, generando estadísticas descriptivas para cada grupo.
• Planear vínculos de descarga en la interfaz de usuario de Spark: la página de ejecución de la interfaz de usuario de Spark ahora incluye vínculos de descarga para planes de consulta en formatos SVG, DOT y TXT.
• pa.ChunkedArray compatibilidad en createDataFrame: createDataFrame() ahora maneja correctamente DataFrames de pandas con columnas ChunkedArray de PyArrow, lo que evita errores de tipo al usar datos de pandas basados en Arrow.
• Compatibilidad de Codegen con funciones de orden superior de matriz: las funciones de orden superior de matriz, como filter, transformy aggregate ahora se benefician de la generación de código de bytes de JVM durante la compilación de consultas, lo que mejora el rendimiento de las cargas de trabajo que usan estas funciones en gran medida.
• Corrección: exceptAll corrección tras dropDuplicates con un subconjunto de columnas: se ha corregido un error por el que df.dropDuplicates(subset).exceptAll(other) producía resultados incorrectos. La corrección garantiza que la lógica de seguimiento duplicado controle correctamente la desduplicación del subconjunto.
• Corrección: el analizador de SQL conserva las instrucciones que terminan con comentarios de bloque: se corrige un error en el que las instrucciones SQL que terminan con un comentario de bloque se quitaron silenciosamente mediante el separador de punto y coma. Todas las sentencias ahora se analizan correctamente independientemente del estilo de comentario al final.
• Corrección: corrección de la combinación de secuencias en el formato de estado V4: se corrige un error en las combinaciones de secuencia con predicados de período de tiempo al usar el formato V4 del almacén de estado de RocksDB, lo que impide resultados de combinación incorrectos durante las consultas de streaming con estado.

Actualizaciones de bibliotecas

Las bibliotecas solo se actualizan cuando existe un riesgo de seguridad con una versión anterior. Cuando se identifica una vulnerabilidad, Databricks actualiza a la versión más antigua que resuelve el problema. Si una biblioteca se actualizó durante este ciclo de versión debido a una revisión de seguridad confirmada, la versión anterior también aparece para documentar la transición.

Python

R

Java

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

• Sistema operativo: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.6.0
• Delta Lake: 4.2.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de CRAN de Posit Administrador de paquetes en PACKAGES.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)