Databricks Runtime 18 (Beta)

Esta página contém notas de lançamento unificadas para o Databricks Runtime 18, alimentado pelo Apache Spark 4.1.0. Lista todas as funcionalidades, alterações de comportamento e correções incluídas ao longo do ciclo de lançamento Databricks Runtime 18.

Sobre as notas de lançamento unificadas

O Azure Databricks lança funcionalidades de forma incremental ao longo do ciclo de lançamento, sem alterar o número de versão. Em vez de páginas separadas para cada versão menor, todas as atualizações aparecem nesta única página como entradas datadas. Os clusters recebem atualizações quando reiniciam.

O Databricks Runtime 18 é a primeira versão a utilizar este formato unificado. Anteriormente, cada versão de funcionalidade (18.0, 18.1, 18.2) tinha a sua própria página de notas de lançamento. Essas páginas continuam disponíveis para consulta. Funcionalidades que antes seriam enviadas como 18.3 ou posteriores agora são enviadas como atualizações datadas do Databricks Runtime 18.

• Databricks Runtime 18.0
• Databricks Runtime 18.1
• Databricks Runtime 18.2

No futuro, as versões Databricks Runtime seguirão um ciclo de vida desde Beta (avaliação inicial) passando por GA (desenvolvimento de funcionalidades, aproximadamente seis meses) até LTS (suporte a longo prazo, três anos de correções de estabilidade e segurança). Como as versões 18.0 a 18.2 foram distribuídas sob o modelo anterior, o Databricks Runtime 18 é uma versão transitória que passará diretamente da Beta para a LTS. Para obter detalhes completos sobre o ciclo de vida, consulte Ciclos de vida de suporte do Databricks Runtime.

Databricks Runtime 18: 29 de maio de 2026

• Desduplicação do Structured Streaming com chaves NaN: a desduplicação no Structured Streaming agora trata valores NaN (Not-a-Number) com padrões de bits diferentes como duplicados quando é utilizada uma coluna double ou float como chave de desduplicação. Anteriormente, NaN valores com diferentes representações internas eram tratados como distintos e não eram desduplicados.
• Foi corrigido um problema em que as permissões ao nível da tabela podiam ser removidas das tabelas de catálogos externos do Unity Catalog (por exemplo, tabelas de ligação ao Snowflake) durante a atualização dos metadados, o que fazia com que as consultas falhassem com erros INSUFFICIENT_PERMISSIONS. As permissões são agora preservadas quando os metadados de tabelas estrangeiras são atualizados.

Databricks Runtime 18: 18 de maio de 2026

Mudanças comportamentais

Revise as alterações seguintes, que entram em vigor quando os clusters reiniciam neste tempo de execução.

• CREATE OR REPLACE TABLE: CREATE OR REPLACE TABLE agora preserva por defeito os comentários existentes de colunas e tabelas. Anteriormente, os comentários eram eliminados ao recriar uma tabela. Tabelas e vistas geridas agora correspondem ao comportamento existente das visualizações materializadas e das tabelas de streaming.
• Escritas por nome do DataFrame: writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() e write.mode("append").saveAsTable() agora convertem automaticamente colunas com tipos compatíveis (por exemplo, int para long) para corresponderem ao esquema da tabela Delta de destino. Anteriormente, estas operações falhavam com um DELTA_FAILED_TO_MERGE_FIELDS erro quando os tipos de coluna eram compatíveis mas não idênticos. O comportamento agora corresponde ao SQL INSERT INTO ... BY NAME. save() e saveAsTable() em modo de sobrescrição não são afetados.
• ALTER TABLE SET TBLPROPERTIES para pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') agora tenta tornar a tabela especificada elegível para escritas pelo pipeline. Anteriormente, definir esta propriedade numa tabela normal não tinha efeito. Se a tabela não for compatível com operações de escrita em pipeline, o comando lança SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.
• cloud_files_state: A cloud_files_state função de valores de tabela (TVF) inclui agora uma discovery_mode coluna que mostra como o Auto Loader descobriu cada ficheiro. Ficheiros descobertos antes da atualização têm um null valor nesta coluna.
• DESCRIBE EXTENDED AS JSON: Agora inclui os resultados da avaliação da otimização preditiva no seu resultado. Anteriormente, esta informação não era devolvida na saída JSON.
• Medições da janela de visualização de métricas: Agora devolvem resultados corretos quando as consultas usam filtros GROUP BY, IN/BETWEEN ou predicados mistos na coluna de ordenação da janela. Anteriormente, estes padrões de filtro podiam produzir resultados incorretos.

Novas funcionalidades e melhorias

As seguintes funcionalidades e melhorias estão disponíveis nesta versão.

• Bibliotecas de cluster: Quando instala bibliotecas PyPI, rodas ou ficheiros requirements.txt num cluster, o separador Bibliotecas e a API REST de Bibliotecas agora mostram todos os pacotes resolvidos e instalados, incluindo dependências transitivas. Para instalações que resolvem mais de 500 pacotes, a lista é truncada. O relatório completo de instalação está disponível nos registos de drivers do cluster.
• Auto CDC a partir de instantâneo com sintaxe SQL: Lakeflow Spark Declarative Pipelines passa agora a suportar Auto CDC a partir de instantâneo com sintaxe SQL. Anteriormente, esta funcionalidade só estava disponível através da API Python. Utilize CREATE STREAMING TABLE ... FLOW AUTO CDC FROM SNAPSHOT para processar fontes de instantâneos (como tabelas Delta, armazenamento na nuvem ou JDBC) um instantâneo de cada vez. Tanto o SCD Tipo 1 (por defeito) como o SCD Tipo 2 são suportados.
• array_sort com comparadores personalizados: O Photon acelera agora array_sort expressões que usam comparadores personalizados para ordenar arrays de estruturas por um ou mais campos. Anteriormente, estas expressões recorriam à execução sem Photon. Para permitir esta otimização, defina spark.databricks.photon.rewriteArraySortComparator.enabled para true.

Correções e melhorias do Apache Spark

Esta versão inclui as seguintes correções de bugs e melhorias feitas ao Spark:

• As consultas SQL agora suportam uma QUALIFY cláusula, que permite filtrar os resultados da função janela diretamente na consulta. Anteriormente, isto exigia envolver a consulta numa subconsulta.
• spark.read.json, spark.read.csv, e spark.read.xml agora aceitar um DataFrame como entrada, para que possa analisar dados em memória sem os guardar primeiro num ficheiro.
• DataFrame.changes() já está disponível para ler a saída de captura de dados de alterações (CDC) através da API de DataFrame.
• Quando uma coluna DataFrame é referenciada a partir do DataFrame errado, o erro agora nomeia a coluna específica. Também podes configurar spark.sql.columnResolution.strict para que o Spark imponha uma correspondência de colunas mais rigorosa e detete esses erros mais cedo.
• MERGE INTO A evolução de esquemas passa agora a funcionar corretamente quando a instrução inclui WHEN MATCHED THEN DELETE ou faz referência a colunas aninhadas através de um alias. Anteriormente, estas combinações podiam falhar ou produzir resultados errados silenciosamente.
• SHOW COLLATIONS Lista todas as colações suportadas e as suas propriedades, o que é útil ao escolher uma colação para ordenação ou comparação de texto.
• O otimizador de consultas do Spark estima agora corretamente quanto os filtros de dados irão reduzir. Estimativas incorretas levavam anteriormente o Spark a carregar tabelas grandes integralmente para a memória durante operações de junção, provocando erros por falta de memória.
• Consultas com múltiplas COUNT(DISTINCT) expressões correm mais rapidamente porque o Spark agora reduz os dados mais cedo no plano de execução, em vez de os expandir primeiro.
• Os UDFs em Python que utilizam a otimização Arrow deixam de realizar uma conversão desnecessária de formatos de dados, reduzindo a sobrecarga.
• As junções stream-stream que não são outer joins podem agora produzir saída no modo Update, e não apenas no modo Append, o que lhes permite gravar em mais destinos de saída.
• As ligações JDBC ficam agora devidamente fechadas quando uma tarefa é cancelada. Anteriormente, o cancelamento podia deixar uma conexão aberta, fazendo com que tarefas subsequentes ficassem bloqueadas.
• array_insert já não produz resultados incorretos quando recebe um número negativo muito grande como posição de inserção.

Databricks Runtime 18: 4 de maio de 2026

Mudanças comportamentais

Revise as alterações seguintes, que entram em vigor quando os clusters reiniciam neste tempo de execução.

• XPath: Ao avaliar XPath sobre XML, Azure Databricks já não carrega Definições de Tipo de Documento (DTDs) externas. Consultas que antes falhavam apenas devido a uma referência DTD externa inacessível podem agora ter sucesso.
• Comportamento da estrutura NULL com evolução do esquema: Para INSERT, MERGE, e escritas em streaming que utilizam evolução do esquema, uma estrutura NULL na fonte é agora armazenada como NULL no destino. Anteriormente, as estruturas NULL eram materializadas incorretamente como estruturas não-nulas com todos os campos definidos como NULL. Atualize qualquer código que dependesse de receber uma estrutura não nula com campos all-NULL — esses casos agora retornam uma estrutura NULL.
• NATURAL JOIN: Agora utiliza corretamente a comparação de colunas sem distinção entre maiúsculas e minúsculas quando spark.sql.caseSensitive é false (a predefinição). Anteriormente, colunas que só diferiam no caso (por exemplo, ID vs id) não eram reconhecidas como correspondentes, causando NATURAL JOIN a produção silenciosa de resultados de junção cruzada. Esta correção alinha o comportamento de NATURAL JOIN com as junções de USING.
• Dependências do AWS SDK v1: Agora sombreadas e já não estão diretamente disponíveis no classpath. Se o seu código depende das bibliotecas AWS SDK v1 previamente fornecidas pelo Databricks Runtime, adicione-as como dependências explícitas no seu projeto.
• Validação de dependências SQL UDF no Catálogo Unity: O Catálogo Unity agora impõe validação de dependências para funções SQL definidas pelo utilizador para evitar o desvio do controlo de acesso. UDFs SQL com configurações de dependência inválidas são bloqueados da execução.
• LEFT OUTER JOIN LATERAL: Um bug que eliminava linhas incorretamente foi corrigido. As consultas que usam esta construção agora retornam resultados corretos. Para reverter temporariamente ao comportamento anterior, defina spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic para true.
• regr_r2: Agora trata corretamente o primeiro parâmetro como a variável dependente. Consultas que baseavam no comportamento incorreto anterior devolvem resultados diferentes.
• Funções hiperbólicas: sinh, cosh, tanh, e funções hiperbólicas relacionadas agora retornam Infinity em vez de gerar um erro de overflow quando recebem entradas muito grandes.
• asinh e acosh: Agora usa o algoritmo fdlibm para consistência entre motores. Os resultados podem diferir ligeiramente das versões anteriores para entradas de casos limites.
• LIKE correspondência de padrões: Agora lida corretamente com caracteres Unicode suplementares (pontos de código acima de U+FFFF). Padrões que anteriormente correspondiam ou falhavam incorretamente para estes caracteres agora retornam resultados corretos.
• VOID (NullType) colunas: As tabelas Delta agora suportam VOID (NullType) colunas. VOID as colunas já não são removidas do esquema da tabela durante a leitura. As operações de escrita não são afetadas.

Novas funcionalidades e melhorias

As seguintes funcionalidades e melhorias estão disponíveis nesta versão.

• CREATE OR REPLACE TEMP TABLE: Agora suportado, permitindo-lhe criar ou substituir tabelas temporárias numa única instrução.
• agg(): Agora disponível como pseudónimo para a measure() função. As consultas existentes measure() continuam a funcionar sem modificações.
• pyspark.pipelines.testing: Agora disponível como um alias de conveniência para dlt.testing APIs.
• Desempenho da listagem do Auto Loader: O Auto Loader utiliza agora um método de listagem mais eficiente que melhora a velocidade de listagem para fontes de armazenamento na cloud. Se o seu fluxo desencadear sobreposição devido a operações de listagem prolongadas, esta otimização pode resultar num aumento dos custos da API de listagem na cloud.
• DESCRIBE HISTORY sinalizadores de opção de escrita: O histórico da tabela Delta (DESCRIBE HISTORY) agora inclui os sinalizadores de opção de escrita em operationParameters para as operações WRITE e REPLACE TABLE. As bandeiras aparecem apenas quando true: isDynamicPartitionOverwrite, canOverwriteSchema, canMergeSchema, predicate, e isV1WriterSaveAsTableOverwrite.
• Retrocesso e repetição no Structured Streaming: Structured Streaming agora suporta retrocesso e repetição, permitindo o reprocessamento a partir de um ponto anterior no fluxo para recuperar após falhas, como alterações de esquema ou erros lógicos, sem uma redefinição completa do estado.
• SparkSession.emptyDataFrame: Agora disponível como uma API de conveniência para criar uma API vazia DataFrame sem colunas e sem linhas.
• TIMESTAMP WITH LOCAL TIME ZONE: Agora suportado como um alias de sintaxe SQL para o TIMESTAMP_LTZ tipo.
• to_json sortKeys opção: A to_json função aceita agora uma sortKeys opção para produzir saída JSON com chaves ordenadas.
• spark.catalog.*: Os métodos API têm agora paridade de características com os seus comandos DDL equivalentes para operações de catálogo, esquema e tabela.
• [Correção de segurança] Atualizações de segurança do sistema operativo.

Databricks Runtime 18: 20 de abril de 2026

• Fixou a autoridade de referência espacial CRS para o GEOMETRY(102100) tipo. A autoridade é agora reportada como ESRI:102100 em vez de EPSG:102100.
• [Correção de segurança] Atualizações de segurança do sistema operativo.

Databricks Runtime 18: 2 de abril de 2026

• Melhor tratamento de erros para consultas que gravam dados em tabelas Delta que contêm uma coluna VOID (NullType) dentro de um tipo definido pelo utilizador (UDT).
• As ligações do sink de streaming JDBC aplicam agora um tempo limite do socket de 30 segundos, um mecanismo de repetição com backoff exponencial para erros transitórios (falhas de ligação, deadlocks, limitação de taxa) e uma reversão controlada em ligações interrompidas.
• Corrigido a corrupção de texto SQL que ocorria ao usar caracteres Unicode em consultas parametrizadas.
• SHOW CREATE TABLE agora produz resultados corretos para tabelas e vistas com uma colação não predefinida.
• [Correção de segurança] Atualizações de segurança do sistema operativo.

Databricks Runtime 18: 11 de março de 2026

Mudanças comportamentais

Revise as alterações seguintes, que entram em vigor quando os clusters reiniciam neste tempo de execução.

• Erros na métrica de observação: Já não causam falhas na execução da consulta. Anteriormente, erros em OBSERVE cláusulas (como divisão por zero) podiam bloquear ou paralisar a consulta por completo. Agora, a consulta é concluída com sucesso e o erro surge quando se chama observation.get.
• FILTER cláusula para MEASURE: as funções de agregação MEASURE passam agora a suportar cláusulas FILTER. Anteriormente, os filtros eram silenciosamente ignorados.
• DESCRIBE FLOW: O DESCRIBE FLOW comando está agora disponível. Se tiver uma tabela com nome flow, use DESCRIBE schema.flow, DESCRIBE TABLE flow, ou DESCRIBE `flow` com backticks.
• Operações booleanas de conjuntos do SpatialSQL: ST_Difference, ST_Intersection e ST_Union usam uma nova implementação com as seguintes melhorias:
  • Geometrias de entrada válidas produzem sempre um resultado e deixam de gerar erros.
  • Desempenho aproximadamente duas vezes superior.
  • Os resultados são normalizados para resultados consistentes e comparáveis.
• Tipos de exceção para SQLSTATE: Os tipos de exceção são atualizados para suportar SQLSTATE. Se o teu código analisa exceções por correspondência de strings ou apanha tipos específicos de exceções, atualiza a lógica de gestão de erros.
• Alargamento automático do tipo de streaming: As leituras em streaming nas tabelas Delta tratam automaticamente do alargamento do tipo de coluna. Para exigir reconhecimento manual, defina spark.databricks.delta.typeWidening.enableStreamingSchemaTracking para true.

Novas funcionalidades e melhorias

As seguintes funcionalidades e melhorias estão disponíveis nesta versão.

• Eventos de ficheiros do Auto Loader por predefinição: O Auto Loader utiliza eventos de ficheiros por predefinição ao carregar a partir de uma localização externa com eventos de ficheiros ativados, o que reduz as operações de listagem e os custos em comparação com a listagem de diretórios. Consulte Visão geral do carregador automático com eventos de arquivo. Para usar a listagem de diretórios em vez disso, defina useManagedFileEvents para false.

• Evolução do esquema com INSERT: Use a WITH SCHEMA EVOLUTION cláusula com instruções SQL INSERT para evoluir automaticamente o esquema da tabela de destino durante as operações de inserção. Suportado para INSERT INTO, INSERT OVERWRITE, e INSERT INTO ... REPLACE. Por exemplo:

  INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
  

• Transações de múltiplas instruções com Delta Sharing: Tabelas de Delta Sharing que utilizam modos de partilha de URL pré-assinados ou de tokens na nuvem suportam transações com múltiplas instruções. No primeiro acesso dentro de uma transação, a versão da tabela é fixada e reutilizada para todas as leituras subsequentes nessa transação.

• parse_timestamp: A função parse_timestamp SQL analisa cadeias de carimbo temporal usando múltiplos padrões, com suporte ao motor Photon para melhorar o desempenho.

• max_by e min_by com opcional limit: As funções agregadas max_by e min_by agora aceitam um terceiro argumento limit opcional (até 100.000). Quando especificadas, as funções devolvem um array de até limit valores, simplificando as consultas top-K e bottom-K sem funções de janela nem CTEs.

• DATETIMEOFFSET para o Azure Synapse: O tipo de dados DATETIMEOFFSET é suportado para ligações ao Microsoft Azure Synapse.

• Comentários das tabelas do Google BigQuery: As descrições das tabelas do Google BigQuery são resolvidas e expostas como comentários das tabelas.

• IGNORE NULLS / RESPECT NULLS para array_agg e collect_list: As funções agregadas array_agg e collect_list agora suportam as cláusulas IGNORE NULLS e RESPECT NULLS.

• PIVOT aliases: A cláusula PIVOT agora suporta aliases, permitindo renomear expressões de coluna pivot na saída.

• Variáveis de scripting em SQL CURSOR: A criação de scripts SQL agora suporta CURSOR variáveis para iterar sobre o conjunto de resultados de uma consulta, linha a linha, num bloco de script.

• Funções agregadas de matemática vetorial: Novas funções agregadas de matemática vetorial estão disponíveis: vector_avg, vector_sum, vector_norm e vector_normalize. Estas funções operam em colunas vetoriais densas e suportam cargas de trabalho de ML.

• Trigger.AvailableNow em leitores de transmissão em fluxo em Python: Os leitores de transmissão em fluxo da origem de dados em Python suportam agora Trigger.AvailableNow e Admission Control, permitindo o processamento único em lote de todos os dados disponíveis.

• API de repartição de estados no PySpark: A API de repartição de estados para TransformWithState operadores de streaming está agora disponível no PySpark, além do Scala. Veja Reparticionamento de estados sob demanda para consultas de streaming com estado.

• applyInPandas correção de desempenho: Foi resolvida uma regressão de desempenho de 3x em applyInPandas para grupos grandes.

Databricks Runtime 18: 10 de março de 2026

• As mensagens de erro para subconsultas escalares utilizadas com EXEC IMMEDIATE identificam agora a causa específica de forma mais clara.
• Foi corrigida uma condição de corrida na compactação do registo de pontos de verificação de streaming que poderia causar comportamento não determinístico em consultas de Structured Streaming.
• [Correção de segurança] Atualizações de segurança do sistema operativo.

Databricks Runtime 18: 26 de fevereiro de 2026

• SET METADATA ON COLUMN e UNSET METADATA ON COLUMN comandos SQL estão agora disponíveis para gerir metadados semânticos nas colunas das tabelas do Unity Catalog. Use SET METADATA ON COLUMN para anexar propriedades (display_name, format, e synonyms) às colunas. Use UNSET METADATA ON COLUMN para remover propriedades de metadados previamente definidas.
• DESCRIBE TABLE agora inclui uma metadata coluna que mostra metadados semânticos ao nível da coluna como uma cadeia JSON.
• Corrigido um erro de importação do PySpark em ambientes Windows causado por uma falta de UnixStreamServer.
• [Correção de segurança] Atualizações de segurança do sistema operativo.

Databricks Runtime 18: 19 de fevereiro de 2026

• Ao inferir o esquema dos ficheiros Excel, as células string são agora inferidas como Spark StringType, respeitando o conjunto de tipos de células em Excel. Anteriormente, cadeias com valores numéricos eram convertidas automaticamente para tipos mais específicos como Long ou Decimal. Atualizar o código que dependia do comportamento anterior.
• DataFrame.toJSON() está agora disponível no cliente Python Spark Connect.
• [Correção de segurança] Atualizações de segurança do sistema operativo.

Databricks Runtime 18: 27 de janeiro de 2026

• O Auto Loader agora reporta batchSizeNumFiles, batchSizeNumBytes, e os estados de processamento de ficheiros (numFilesProcessed, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) como métricas.
• INSERT INTO ... BY NAME agora apoia a REPLACE WHERE cláusula.
• A propriedade spark.sql.xml.legacyXMLParser.enabled de configuração foi renomeada para spark.sql.legacy.useLegacyXMLParser. Atualize quaisquer configurações de cluster ou sessão que usem o nome antigo.
• Quando spark.task.resource.gpu.amount é maior que 1, o Distribuidor Torch lança agora um torchrun processo por GPU em vez de por tarefa.
• [Correção de segurança] Atualizações de segurança do sistema operativo.

Databricks Runtime 18: 15 de janeiro de 2026

O Databricks Runtime 18 está agora em desenvolvimento de funcionalidades, alimentado pelo Apache Spark 4.1.0. Esta versão incorpora todas as funcionalidades, melhorias e correções de bugs de todas as versões anteriores do Databricks Runtime.

Mudanças comportamentais

Revise as alterações seguintes, que entram em vigor quando os clusters reiniciam neste tempo de execução.

• JDK 21: O Databricks Runtime 18 usa o JDK 21 como o Java Development Kit predefinido. O JDK 21 está geralmente disponível e é uma versão de suporte a longo prazo (LTS). Anteriormente, o padrão era JDK 17. Alterações notáveis:

  • Double.toString() e Float.toString() agora produzem as representações de cadeia únicas mais curtas, as quais podem diferir das saídas do JDK 17 em alguns casos extremos.
  • Thread.stop(), Thread.suspend(), e Thread.resume() agora lança UnsupportedOperationException.
  • Dados locais atualizados (CLDR v42) podem afetar a formatação de datas, horas e números.

  Se encontrares problemas de compatibilidade, recorre ao JDK 17. Para informações sobre a configuração de versões JDK, veja Criar um cluster com uma versão específica do JDK.

• FSCK REPAIR TABLE: Agora inclui um passo inicial de reparação dos metadados antes de verificar ficheiros de dados em falta. O comando funciona em tabelas com checkpoints corrompidos ou valores de partição inválidos.

• Anulabilidade Scala do Spark Connect: A anulabilidade dos tipos de array e mapa é agora preservada para literais tipados no cliente Scala do Spark Connect. Anteriormente, elementos de arrays e valores de mapas eram sempre anuláveis.

• FSCK REPAIR TABLE DRY RUN: A coluna dataFilePath no esquema de saída FSCK REPAIR TABLE DRY RUN aceita agora valores nulos para suportar a comunicação de novos tipos de problema em que o caminho do ficheiro de dados não é aplicável.

• SHOW TABLES DROPPED: Agora respeita corretamente a LIMIT cláusula.

• Execução de UDFs Python: As UDFs Python do Unity Catalog utilizam agora o Apache Arrow como formato de troca por predefinição, o que melhora o desempenho geral. Como parte desta alteração, TIMESTAMP os valores passados para UDFs em Python já não incluem a informação do fuso horário no datetime atributo do tzinfo objeto. Os próprios valores de carimbo temporal permanecem no UTC, mas os metadados do fuso horário foram agora eliminados. Se o seu UDF depende da informação do fuso horário, restaure-o com date = date.replace(tzinfo=timezone.utc). Para mais informações, veja Comportamento do fuso temporal com carimbo temporal para entradas.

• Deslocação temporal e VACUUM retenção: o Azure Databricks bloqueia agora consultas de deslocação temporal para além do limite de deletedFileRetentionDuration para todas as tabelas. O VACUUM comando ignora o argumento da duração de retenção, exceto quando o valor é 0 horas. Não pode definir deletedFileRetentionDuration maior do que logRetentionDuration ou vice-versa.

• BinaryType no PySpark: Em PySpark, BinaryType agora mapeia consistentemente para Python bytes. Anteriormente, o PySpark mapeava BinaryType para bytes ou bytearray conforme o contexto. Para restaurar o comportamento antigo, defina spark.sql.execution.pyspark.binaryAsBytes para false.

• Estruturas NULL no Delta MERGE e UPDATE: Passam agora a ser preservadas como NULL no Delta MERGE, UPDATE, e em operações de escrita em streaming que incluem conversões de tipo para estruturas. Anteriormente, as estruturas NULL eram expandidas para estruturas com campos NULL.

• Materialização das colunas de partição: Tabelas Delta particionadas agora materializam colunas de partição em ficheiros de dados Parquet recém-escritos. Anteriormente, os valores das partições eram armazenados nos metadados do registo de transações Delta e refletidos nos caminhos dos diretórios, mas não eram escritos como colunas nos próprios ficheiros Parquet. Esta alteração está alinhada com o comportamento do Apache Iceberg e UniForm e pode afetar cargas de trabalho que leem diretamente ficheiros Parquet escritos pela Delta Lake.

• Fuso horário da partição de timestamp: Os valores da partição de timestamp eram anteriormente convertidos para UTC usando o fuso horário da JVM em vez da configuração spark.sql.session.timeZone. Os valores das partições de carimbo temporal são agora corretamente ajustados usando a definição de fuso horário da sessão Spark.

• DESCRIBE TABLE coluna de metadados: A saída de DESCRIBE TABLE [EXTENDED] agora inclui uma nova metadata coluna para todos os tipos de tabela. Esta coluna contém metadados semânticos (nome de visualização, formato e sinónimos) definidos na tabela como uma cadeia JSON.

Novas funcionalidades e melhorias

As seguintes funcionalidades e melhorias estão disponíveis nesta versão.

• Scripting SQL: A funcionalidade de scripting SQL está agora disponível de forma geral.
• Isolamento partilhado para UDFs Python do Unity Catalog: As UDFs Python do Unity Catalog com o mesmo proprietário podem agora partilhar, por predefinição, um ambiente de isolamento. Isto melhora o desempenho e reduz o uso de memória ao diminuir o número de ambientes separados lançados. Para garantir que um UDF seja sempre executado em um ambiente totalmente isolado, adicione a STRICT ISOLATION cláusula característica. Ver Isolamento ambiental.
• Funções de janela SQL em vistas métricas: Agora pode usar funções de janela SQL em vistas métricas para calcular totais recorrentes, classificações e outros cálculos baseados em janelas.
• Partições dinâmicas de shuffle em streaming sem estado: Agora, pode alterar o número de partições de shuffle em consultas de streaming sem estado sem reiniciar a consulta.
• AQE e AOS em streaming sem estado: Execução Adaptativa de Consultas (AQE) e embaralhamento automático otimizado (AOS) são agora suportados em consultas de streaming sem estado.
• Marcadores de parâmetro: Agora pode usar marcadores de parâmetro nomeados (:param) e não nomeados (?) praticamente em qualquer lugar onde se possa usar um valor literal do tipo apropriado. Isto inclui instruções DDL, como CREATE VIEW v AS SELECT ? AS c1, tipos de coluna DECIMAL(:p, :s), ou COMMENT ON t IS :comment. Consulte Marcadores de parâmetros para mais detalhes.
• IDENTIFIER cláusula: O alcance da IDENTIFIER cláusula, que converte cadeias de caracteres em nomes de objetos SQL, foi alargado a praticamente todos os contextos em que é permitido um identificador. Consulte IDENTIFIER cláusula para obter detalhes.
• BITMAP_AND_AGG: A biblioteca existente de BITMAP funções inclui agora uma nova função BITMAP_AND_AGG .
• Funções de Theta Sketch: Pode agora utilizar uma nova biblioteca de funções para contagem aproximada de valores distintos e operações de conjunto com o DataSketches Theta Sketch. Ver theta_sketch_agg e funções relacionadas.
• Funções de esboço KLL: Agora pode usar uma nova biblioteca de funções para cálculo quantil aproximado usando esboços KLL. Ver kll_sketch_agg_bigint e funções relacionadas.
• Novas funções geoespaciais: st_azimuth, st_boundary, st_closestpoint e st_geogfromewkt estão agora disponíveis.
• GeometryType e GeographyType: O Apache Spark suporta agora os tipos nativos de dados GeometryType e GeographyType nas APIs PySpark e Java. Estes tipos suportam serialização Arrow e leitura e escrita em Parquet, sendo distintos das funções geoespaciais de SQL.
• approx_top_k: A nova função de agregado approx_top_k devolve os valores aproximados top-K mais frequentes numa coluna usando um algoritmo de esboço eficiente em espaço.
• Driver JDBC Spark Connect: O Apache Spark inclui agora um driver JDBC para o Spark Connect, permitindo que clientes e ferramentas baseados em JDBC se liguem ao Spark através do protocolo Spark Connect.
• Iterator[pandas.DataFrame] em applyInPandas: DataFrame.applyInPandas agora aceita uma função com assinatura Iterator[pandas.DataFrame] , reduzindo a sobrecarga ao processar grandes grupos através do fluxo de dados em lotes.
• Verificar restrições: Agora suporta comparações de valor nulo na expressão de restrições.
• API de repartição de estado para TransformWithState: Existe uma nova API de repartição de estado disponível para TransformWithState operadores de streaming no Scala, permitindo alterar a partição de chaves dos dados com estado durante reinicios de consulta. Veja Reparticionamento de estados sob demanda para consultas de streaming com estado.
• Python 3.14 em pyspark-connect: pyspark-client e pyspark-connect agora suportam Python 3.14.

Atualizações da biblioteca

• Bibliotecas Python melhoradas:

  • Anyio de 4.6.2 a 4.7.0
  • Asttokens de 2,0.5 a 3,0.0
  • Azure-core de 1.34.0 a 1.37.0
  • Azure-mgmt-core da versão 1.5.0 para a 1.6.0
  • Azure-storage-blob de 12.23.0 a 12.28.0
  • Azure-Storage-File-Datalake de 12.17.0 a 12.22.0
  • boto3 de 1.36.2 a 1.40.45
  • Botocore de 1.36.3 a 1.40.45
  • Certifi de 2025.1.31 a 2025.4.26
  • clique de 8.1.7 para 8.1.8
  • Criptografia de 43.0.3 a 44.0.1
  • Cython de 3.0.12 a 3.1.5
  • Databricks-SDK de 0.49.0 a 0.67.0
  • Descontinuado de 1.2.13 a 1.2.18
  • Atualização de 0.8.3 para 1.2.0
  • Fastapi de 0.115.12 a 0.128.0
  • Downgrade do Filelock de 3.18.0 para 3.17.0
  • Google-API-Core da 2.20.0 à 2.28.1
  • Atualização de google-auth de 2.40.0 para 2.47.0
  • Google-Cloud-Core da 2.4.3 à 2.5.0
  • Google-Cloud-Storage da 3.1.0 à 3.7.0
  • Google-CRC32C da 1.7.1 à 1.8.0
  • Google-Resumable-Media da 2.7.2 à 2.8.0
  • H11 de 0.14.0 a 0.16.0
  • httpcore de 1.0.2 a 1.0.9
  • httpx de 0.27.0 a 0.28.1
  • isodate de 0.6.1 a 0.7.2
  • Jinja2 de 3.1.5 a 3.1.6
  • Eventos Jupyter de 0.10.0 a 0.12.0
  • Jupyter-LSP de 2.2.0 a 2.2.5
  • jupyter_server de 2.14.1 a 2.15.0
  • jupyter_server_terminals de 0.4.4 a 0.5.3
  • Mistune de 2.0.4 a 3.1.2
  • mlflow-skinny de 3.0.1 a 3.8.1
  • mmh3 de 5.1.0 a 5.2.0
  • MSAL de 1.32.3 a 1.34.0
  • nbclient de 0.8.0 a 0.10.2
  • nbconvert de 7.16.4 para 7.16.6
  • nodeenv de 1.9.1 a 1.10.0
  • notebook_shim de 0.2.3 a 0.2.4
  • OpenTelemetry-API de 1.32.1 a 1.39.1
  • OpenTelemetry-SDK de 1.32.1 a 1.39.1
  • convenções semânticas de telemetria aberta de 0.53b1 a 0.60b1
  • platformdirs desde 3.10.0 até 4.3.7
  • prometheus_client de 0.21.0 a 0.21.1
  • Proto-Plus de 1.26.1 a 1.27.0
  • Psycopg2 de 2.9.3 a 2.9.11
  • pyarrow de 19.0.1 a 21.0.0
  • Pygments de 2.15.1 a 2.19.1
  • pyiceberg de 0.9.0 a 0.10.0
  • python-lsp-server da 1.12.0 à 1.12.2
  • corda de 1.12.0 a 1.13.0
  • s3transfer de 0.11.3 para 0.14.0
  • SCIPY de 1.15.1 a 1.15.3
  • setuptools de 74.0.0 a 78.1.1
  • seis de 1.16.0 a 1.17.0
  • sqlparse de 0.5.3 para 0.5.5
  • stack-data de 0.2.0 a 0.6.3
  • Starlette de 0.46.2 a 0.50.0
  • Tornado de 6.4.2 a 6.5.1
  • types-python-dateutil de 2.9.0.20241206 a 2.9.0.20251115
  • Uvicorn de 0.34.2 a 0.40.0
  • webcolors de 24.11.1 a 25.10.0

• Bibliotecas R atualizadas:

  • Flecha de 19.0.1 a 22.0.0
  • base de 4.4.2 a 4.5.1
  • bigD de 0.3.0 a 0.3.1
  • vassoura de 1.0.7 a 1.0.10
  • relógio de 0.7.2 a 0.7.3
  • Commonmark da versão 1.9.5 para 2.0.0
  • compilador de 4.4.2 a 4.5.1
  • atualização de credenciais da versão 2.0.2 para 2.0.3
  • Atualizar curl da versão 6.4.0 para 7.0.0
  • data.table de 1.17.0 até 1.17.8
  • conjuntos de dados de 4.4.2 a 4.5.1
  • DBPLYR da 2.5.0 à 2.5.1
  • DevTools de 2.4.5 para 2.4.6
  • Diffobj de 0.3.5 a 0.3.6
  • Resumo de 0.6.37 a 0.6.39
  • downlit de 0.4.4 para 0.4.5
  • dtplyr de 1.3.1 a 1.3.2
  • avaliar de 1.0.3 a 1.0.5
  • fansi de 1.0.6 a 1.0.7
  • Forcats de 1.0.0 a 1.0.1
  • FS de 1.6.5 a 1.6.6
  • Futuro de 1.34.0 a 1.68.0
  • future.apply da versão 1.11.3 para a versão 1.20.0
  • gargle de 1.5.2 para 1.6.0
  • GERT de 2.1.4 a 2.2.0
  • ggplot2 de 3.5.1 a 4.0.1
  • GH de 1.4.1 a 1.5.0
  • git2r de 0.35.0 a 0.36.2
  • GLMNET de 4.1-8 para 4.1-10
  • GoogleDrive da versão 2.1.1 para a 2.1.2
  • Googlesheets4 da versão 1.1.1 à 1.1.2
  • Gráficos de 4.4.2 a 4.5.1
  • grDevices de 4.4.2 a 4.5.1
  • grelha de 4.4.2 a 4.5.1
  • Atualização do gt da versão 0.11.1 para 1.1.0
  • Hardhat de 1.4.1 a 1.4.2
  • Atualização do Haven da versão 2.5.4 para a 2.5.5
  • HMS de 1.1.3 para 1.1.4
  • httpuv de 1.6.15 a 1.6.16
  • httr2 de 1.1.1 para 1.2.1
  • jsonlite de 1.9.1 a 2.0.0
  • mais tarde, de 1.4.1 a 1.4.4
  • Lava de 1.8.1 a 1.8.2
  • Atualização do Listenv da versão 0.9.1 para a 0.10.0
  • Magrittr de 2.0.3 a 2.0.4
  • markdown de 1.13 para 2.0
  • Métodos de 4.4.2 a 4.5.1
  • miniUI de 0.1.1.1 a 0.1.2
  • mlflow de 2.20.4 a 3.6.0
  • OpenSSL de 2.3.3 a 2.3.4
  • paralelo de 4.4.2 a 4.5.1
  • paralelamente, de 1.42.0 a 1.45.1
  • Pilar de 1.11.0 a 1.11.1
  • pkgbuild de 1.4.6 a 1.4.8
  • pkgdown de 2.1.1 para 2.2.0
  • Atualização do pkgload de 1.4.0 para 1.4.1
  • pROC de 1.18.5 a 1.19.0.1
  • Prodlim de 25.06.2024 a 28.04.2025
  • Atualização do progressr de 0.15.1 a 0.18.0
  • Promessas de 1.3.2 a 1.5.0
  • PS de 1.9.0 a 1.9.1
  • purrr de 1.0.4 a 1.2.0
  • ragg do 1.3.3 para 1.5.0
  • Rcpp de 1.0.14 a 1.1.0
  • readr da versão 2.1.5 para a versão 2.1.6
  • receitas de 1.2.0 a 1.3.1
  • Reshape2 de 1.4.4 para 1.4.5
  • rmarkdown de 2,29 para 2,30
  • roxygen2 de 7.3.2 a 7.3.3
  • rprojroot de 2.0.4 para 2.1.1
  • RSQLite de 2.3.9 a 2.4.4
  • rversões de 2.1.2 a 3.0.0
  • Rvest de 1.0.4 a 1.0.5
  • Saass de 0.4.9 a 0.4.10
  • escalas de 1.3.0 a 1.4.0
  • Brilhante de 1.10.0 a 1.11.1
  • Sparklyr de 1.9.1 a 1.9.3
  • SparkR da 4.0.0 à 4.1.0
  • sparsevctrs de 0.3.1 até 0.3.4
  • splines de 4.4.2 a 4.5.1
  • Estatísticas de 4.4.2 a 4.5.1
  • Stats4 de 4.4.2 a 4.5.1
  • stringr de 1.5.1 a 1.6.0
  • SystemFonts de 1.2.1 a 1.3.1
  • tcltk de 4.4.2 a 4.5.1
  • testthat de 3.2.3 a 3.3.0
  • modelação de texto de 1.0.0 a 1.0.4
  • DataHora de 4041.110 a 4051.111
  • Tinytex de 0,56 a 0,58
  • ferramentas de 4.4.2 a 4.5.1
  • usethis de 3.1.0 a 3.2.1
  • Utilitários de 4.4.2 a 4.5.1
  • V8 de 6.0.2 a 8.0.1
  • vroom de 1.6.5 a 1.6.6
  • Waldo de 0.6.1 a 0.6.2
  • xfun de 0.51 a 0.54
  • XML2 da 1.3.8 à 1.5.0
  • zeallot de 0.1.0 a 0.2.0
  • zip de 2.3.2 para 2.3.3

• Bibliotecas Java atualizadas:

  • com.amazonaws.amazon-kinesis-client de 1.12.0 a 1.15.3
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.638 para 1.12.681
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-config de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-core de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-directory de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ecs de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-efs de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-emr de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-glacier de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-glue de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-iam de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-importexport de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-kms de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-lambda de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-logs de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-rds de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-redshift de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-route53 de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-s3 de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ses de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sns de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sqs de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ssm de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sts de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-support de 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-workspaces da versão 1.12.638 para a versão 1.12.681
  • com.amazonaws.jmespath-java de 1.12.638 a 1.12.681
  • com.databricks.databricks-sdk-java de 0.27.0 a 0.53.0
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.18.2 a 2.18.3
  • com.github.luben.zstd-jni de 1.5.6-10 a 1.5.7-6
  • com.google.flatbuffers.flatbuffers-java de 24.3.25 a 25.2.10
  • com.google.guava.failureaccess de 1.0.2 a 1.0.3
  • com.google.guava.guava de 33.4.0-jre a 33.4.8-jre
  • com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 para 12.8.0.jre8
  • commons-cli.commons-cli de 1.9.0 a 1.10.0
  • Atualização do commons-codec.commons-codec da versão 1.17.2 para a versão 1.19.0
  • commons-fileupload.commons-fileupload de 1.5 a 1.6.0
  • commons-io.commons-io de 2.18.0 para 2.21.0
  • dev.ludovic.netlib.arpack de 3.0.3 a 3.0.4
  • dev.ludovic.netlib.blas de 3.0.3 a 3.0.4
  • dev.ludovic.netlib.lapack de 3.0.3 para 3.0.4
  • io.dropwizard.metrics.metrics-anotação de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-core de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-graphite de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-healthchecks de 4.2.30 para 4.2.37
  • io.dropwizard.metrics.metrics-jmx de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-json de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-jvm de 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-servlets de 4.2.30 a 4.2.37
  • io.delta.delta-sharing-client_2.13 de 1.3.10 a 1.3.11
  • io.netty.netty-all de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-buffer desde a versão 4.1.118.Final até a versão 4.2.7.Final
  • io.netty.netty-codec de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-codec-http da versão 4.1.118.Final para a versão 4.2.7.Final
  • io.netty.netty-codec-http2 de 4.1.118.Final a 4.2.7.Final
  • Atualização do io.netty.netty-codec-socks de 4.1.118.Final para 4.2.7.Final
  • Alteração de io.netty.netty-common da versão 4.1.118.Final para a versão 4.2.7.Final
  • io.netty.netty-handler de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-handler-proxy de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-resolver de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-tcnative-boringssl-static de 2.0.70.Final-db-r0-windows-x86_64 até 2.0.74.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes de 2.0.70.Final a 2.0.74.Final
  • io.netty.netty-transport de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-classes-epoll de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-native-epoll de 4.1.118.Final-linux-x86_64 para 4.2.7.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.118.Final-osx-x86_64 até 4.2.7.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.118.Final a 4.2.7.Final
  • joda-time.joda-time de 2.13.0 a 2.14.0
  • org.apache.arrow.arrow-format de 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-core de 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-netty de 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-netty-buffer-patch de 18.2.0 para 18.3.0
  • org.apache.arrow.arrow-vector de 18.2.0 a 18.3.0
  • org.apache.avro.avro de 1.12.0 a 1.12.1
  • org.apache.avro.avro-ipc de 1.12.0 a 1.12.1
  • org.apache.avro.avro-mapred de 1.12.0 a 1.12.1
  • org.apache.commons.commons-collections4 de 4.4 a 4.5.0
  • org.apache.commons.commons-compress de 1.27.1 a 1.28.0
  • org.apache.commons.commons-lang3 de 3.17.0 a 3.19.0
  • org.apache.commons.commons-text de 1.13.0 a 1.14.0
  • org.apache.curator.curator-client de 5.7.1 a 5.9.0
  • org.apache.curator.curator-framework de 5.7.1 a 5.9.0
  • org.apache.curator.curator-recipes de 5.7.1 a 5.9.0
  • org.apache.datasketches.datasketches-java de 6.1.1 a 6.2.0
  • org.apache.hadoop.hadoop-client-runtime de 3.4.1 a 3.4.2
  • org.apache.orc.orc-core de 2.1.1-shaded-protobuf até 2.2.0-shaded-protobuf
  • org.apache.orc.orc-format desde 1.1.0-shaded-protobuf até 1.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 2.1.1-shaded-protobuf para 2.2.0-shaded-protobuf
  • org.apache.orc.orc-shims de 2.1.1 a 2.2.0
  • org.apache.xbean.xbean-asm9-shaded de 4.26 a 4.28
  • org.apache.zookeeper.zookeeper de 3.9.3 a 3.9.4
  • org.apache.zookeeper.zookeeper-jute de 3.9.3 a 3.9.4
  • org.eclipse.jetty.jetty-client de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-http de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-io de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-jndi da versão 9.4.53.v20231009 para a 10.0.26
  • org.eclipse.jetty.jetty-plus de 9.4.53.v20231009 para 10.0.26
  • org.eclipse.jetty.jetty-proxy de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-security de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-server de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-servlet de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-servlets de 9.4.53.v20231009 a 10.0.26
  • Atualização do org.eclipse.jetty.jetty-util de 9.4.53.v20231009 para 10.0.26
  • org.eclipse.jetty.jetty-webapp de 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-xml de 9.4.53.v20231009 a 10.0.26
  • org.mlflow.mlflow-spark_2.13 de 2.9.1 a 2.22.1
  • org.objenesis.objenesis de 3.3 a 3.4
  • org.scala-lang.modules.scala-xml_2.13 de 2.3.0 a 2.4.0

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC,baixe JDBC).

Ambiente do sistema

• Sistema operativo: Ubuntu 24.04.4 LTS
• Java: Zulu21.42+19-CA
• Escala: 2.13.16
• Píton: 3.12.3
• R: 4.5.1
• Delta Lake: 4.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot Posit Gestor de Pacotes CRAN em PACKAGES.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.13)