Databricks Runtime 18.2 (beta)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 18.2 (Beta).

Questa versione incorpora tutte le funzionalità, i miglioramenti e le correzioni di bug di tutte le versioni precedenti di Databricks Runtime. Databricks ha rilasciato questa versione nell'aprile 2026.

Modifiche comportamentali

• XPath non recupera più DTD esterni
• Conservazione degli struct NULL in INSERT, MERGE e scritture di streaming con evoluzione dello schema
• Supporto nullType (VOID) nelle tabelle Delta
• SHOW CREATE TABLE supporta le visualizzazioni delle metriche
• Correzione per LEFT OUTER JOIN LATERAL che elimina righe
• NATURAL JOIN rispetta la corrispondenza delle colonne senza distinzione di maiuscole
• Convalida delle dipendenze delle funzioni definite dall'utente SQL in Unity Catalog
• Scritture ottimizzate per le tabelle del Unity Catalog partizionate create con CRTAS
• Le dipendenze di AWS SDK v1 sono ombreggiate
• Correggere l'autorità EPSG errata per l'SRID 102100 definito da ESRI

XPath non recupera più DTD esterni

Quando si valuta XPath su XML, Azure Databricks non carica più le definizioni dei tipi di documento esterne (DTD) dichiarate nel documento. In precedenza, XPath poteva non riuscire quando il codice XML conteneva un riferimento DTD esterno che puntava a un URL in formato non valido o a un endpoint non raggiungibile. Poiché la convalida DTD è separata dalla valutazione XPath, le query che hanno già avuto esito positivo restituiscono gli stessi risultati di prima. Le query che prima fallivano solo durante il recupero del DTD esterno ora possono riuscire.

Conservazione degli struct NULL in INSERT, MERGE e scritture di streaming con evoluzione dello schema

Per INSERT, MERGE e le scritture di streaming che usano l'evoluzione dello schema, uno struct NULL nell'origine viene ora memorizzato come NULL nella destinazione. In precedenza, tale valore veniva materializzato in modo non corretto come struct non Null con ogni campo impostato su NULL, mentre le stesse operazioni senza evoluzione dello schema conservavano correttamente gli struct NULL. Se il codice si basava sulla ricezione di uno struct non Null i cui campi erano tutti NULL, aggiornare il codice per gestire invece uno struct NULL.

Supporto NullType (VOID) nelle tabelle Delta

Le tabelle Delta ora supportano le colonne di Spark NullType. VOID le colonne non vengono più eliminate dallo schema della tabella dopo le letture. Le scritture non sono interessate. Consultare VOID tipo per le restrizioni su dove le colonne VOID possono apparire nello schema.

SHOW CREATE TABLE supporta le visualizzazioni delle metriche

SHOW CREATE TABLE supporta ora le visualizzazioni delle metriche. In precedenza, l'esecuzione di questo comando in una visualizzazione metrica generava un errore. L'output per le visualizzazioni delle metriche include il nome completo in tre parti con catalogo (ad esempio, CREATE VIEW catalog.db.my_metric_view ...), rendendo più semplice ricreare la visualizzazione delle metriche nella posizione corretta.

Correzione per la perdita di righe in LEFT OUTER JOIN LATERAL

È stato risolto un bug che eliminava erroneamente le righe dalle LEFT OUTER JOIN LATERAL query. Le query che usano questo costrutto restituiscono ora i risultati corretti. Per ripristinare temporaneamente il comportamento precedente, impostare spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic su true.

NATURAL JOIN rispetta la corrispondenza di colonne senza distinzione di maiuscole

NATURAL JOIN ora utilizza correttamente la corrispondenza di colonne senza distinzione tra maiuscole e minuscole quando spark.sql.caseSensitive è impostato su false (di default). In precedenza, NATURAL JOIN veniva utilizzato un confronto con distinzione tra maiuscole e minuscole per identificare le colonne comuni, causando che colonne diverse solo per caso (ad esempio, ID rispetto a id) non venissero riconosciute come corrispondenti. Ciò ha NATURAL JOIN causato la generazione invisibile all'utente dei risultati di cross join. Questa correzione allinea il NATURAL JOIN comportamento ai USING join, che già gestivano correttamente l'insensibilità alle maiuscole. Le query interessate da questo bug restituiscono ora risultati corretti con colonne unite correttamente.

Convalida delle dipendenze delle funzioni definite dall'utente (UDF) SQL nel catalogo Unity

Il Catalogo Unity impone ora la convalida delle dipendenze per le funzioni definite dall'utente SQL per impedire il bypass dei controlli di accesso. In precedenza, le funzioni SQL create tramite l'API REST potevano fare riferimento alle dipendenze a cui l'utente non aveva accesso. Le funzioni SQL definite dall'utente con configurazioni di dipendenza non valide sono ora impedite dall'esecuzione.

Scritture ottimizzate per le tabelle partizionate del Catalogo Unity create con CRTAS

Le scritture ottimizzate vengono ora applicate correttamente alle tabelle del catalogo Unity partizionate create con CREATE OR REPLACE TABLE ... AS SELECT (CRTAS). In precedenza, CRTAS nelle nuove tabelle del catalogo Unity partizionate non applicava scritture ottimizzate, generando un numero più elevato di file di piccole dimensioni per partizione. Questa correzione può aumentare la latenza di scrittura. Per ripristinare il comportamento precedente, impostare spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled su false.

Le dipendenze di AWS SDK v1 sono ombreggiate

Le dipendenze di AWS SDK v1 in bundle con Databricks Runtime sono ora ombreggiate e non sono più disponibili direttamente nel classpath. Se il codice dipende dalle librerie di AWS SDK v1 fornite in precedenza da Databricks Runtime, aggiungerle come dipendenze esplicite nel progetto. Questa modifica prepara alla migrazione ad AWS SDK v2, dopo la fine del supporto AWS per SDK v1.

Correzione dell'autorità EPSG non corretta per SRID definito da ESRI 102100

Il mapping CRS (Coordinate Reference System) per SRID 102100 ora usa ESRI:102100 correttamente anziché .EPSG:102100 Questa correzione garantisce che i dati geospaziali vengano archiviati con l'autorità corretta per una migliore interoperabilità con altri sistemi.

Nuove funzionalità e miglioramenti

• Supporto CREATE OR REPLACE per le tabelle temporanee
• agg() un alias per measure() funzione
• Aggiornamento del driver JDBC Snowflake
• pyspark.pipelines.testing alias dello spazio dei nomi
• Miglioramento delle prestazioni di elencazione dell'Auto Loader
• La cronologia della tabella Delta include flag delle opzioni di scrittura
• Supporto per il riavvolgimento e la riproduzione di Structured Streaming

Supporto CREATE OR REPLACE per le tabelle temporanee

CREATE OR REPLACE TEMP TABLE la sintassi è ora supportata, consentendo di creare o sostituire tabelle temporanee in una singola istruzione. In questo modo si elimina la necessità di eliminare e ricreare in modo esplicito le tabelle temporanee.

agg() alias per measure() la funzione

agg() è ora disponibile come alias per la measure() funzione. Questa modifica è completamente compatibile con le versioni precedenti. Le query esistenti che usano measure() continuano a funzionare senza modifiche e agg() producono risultati identici se usati con gli stessi argomenti.

Aggiornamento del driver JDBC Snowflake

Il driver JDBC Snowflake viene aggiornato dalla versione 3.22.0 alla versione 3.28.0.

pyspark.pipelines.testing alias dello spazio dei nomi

pyspark.pipelines.testing è ora disponibile come alias pratico per dlt.testing le API. Importare le utilità di test delle pipeline dichiarative di Lakeflow Spark attraverso uno dei due namespace.

Miglioramento delle prestazioni di caricamento del caricatore automatico

Il caricatore automatico ora usa un metodo di presentazione più efficiente che migliora la velocità di presentazione per le origini di archiviazione cloud. Se i trigger di flusso si sovrappongono a causa di operazioni di presentazione a esecuzione prolungata, questa ottimizzazione può comportare un aumento dei costi dell'API di presentazione nel cloud. Monitorare gli intervalli di trigger e aggiustare la pianificazione per evitare la sovrapposizione delle operazioni se vengono osservati aumenti dei costi.

La cronologia delle tabelle Delta include parametri di opzione di scrittura

La cronologia della tabella Delta (DESCRIBE HISTORY) include ora i flag di opzione di scrittura nella colonna operationParameters per le operazioni WRITE e REPLACE TABLE. Quando le opzioni seguenti sono abilitate in modo esplicito, vengono visualizzate come flag booleani nella cronologia (incluso solo quando true):

Per le operazioni WRITE e REPLACE TABLE:

• isDynamicPartitionOverwrite: presente quando è stata usata la modalità di sovrascrittura della partizione dinamica
• canOverwriteSchema: presente quando è stata abilitata la sovrascrittura dello schema (overwriteSchema)
• canMergeSchema: presente quando è stata abilitata l'unione dello schema (mergeSchema)

Per REPLACE TABLE operazioni:

• predicate: presente quando replaceWhere è stato usato
• isV1WriterSaveAsTableOverwrite: presente quando la sostituzione è stata attivata da una .saveAsTable sovrascrittura

Supporto di riavvolgimento e riproduzione di Structured Streaming

Structured Streaming ora supporta il riavvolgimento e la riproduzione per le pipeline di streaming. Questa funzionalità consente di rielaborare da un punto precedente del flusso per eseguire il ripristino da errori quali modifiche dello schema, dati di input in formato non valido o errori di logica, senza richiedere una reimpostazione dello stato completa. Questo non modifica il comportamento predefinito dei carichi di lavoro di streaming esistenti.

Aggiornamenti della libreria

• Librerie di Python aggiornate:

  Nessuna libreria aggiornata in questa versione.

• Librerie R aggiornate:

  Nessuna libreria aggiornata in questa versione.

• Librerie Java aggiornate:

  • io.delta.delta-sharing-client_2.13 da 1.3.9 a 1.3.10

Apache Spark

Databricks Runtime 18.2 include Apache Spark 4.1.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 18.1, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• SPARK-56219 Ripristinare "[SC-225028][PS] Allinea il comportamento di groupby idxmax e idxmin con skipna=False a pandas 2/3"
• SPARK-56204 Rimuovere gli wrapper da espressioni di riga di tabella in linea nel parser
• SPARK-56186 Ritirare pypy
• SPARK-56202 Eseguire il refactoring dei test di join in streaming: suddividere la gerarchia di Base/Suite e semplificare l'invio in modalità
• SPARK-56221 Parità delle funzionalità tra i comandi spark.catalog.* e DDL
• SPARK-56301 Correzione degli errori di digitazioni in error-conditions.json
• SPARK-55729 Supporto per il lettore di origine dati dello stato nel nuovo formato di stato v4 nel join tra stream e stream.
• SPARK-56256 Aggiungere l'API di emptyDataFrame a SparkSession
• SPARK-56205 Convalidare l'ID del checkpoint dell'archivio stati di base prima di eseguire il commit del microbatch
• SPARK-55827 Correzione del type hint per i worker del datasource
• SPARK-55579 Rinominare le classi di errore di PySpark per essere indipendenti dal tipo di valutazione
• SPARK-56247 Correggere il comportamento di ripiego e il suggerimento di tipo di inheritable_thread_target
• SPARK-56244 Ridefinire il layout della classe di benchmark in bench_eval_type.py
• SPARK-56262 Rimuovere la disabilitazione del controllo mypy non necessario per i tipi
• SPARK-55969 regr_r2 deve considerare il primo parametro come variabile dipendente
• SPARK-56179 Unificare le classi di errore per incompatibilità di tipo - parte 3
• SPARK-55630 Evita di aggiornare il flag di corrispondenza per il lato non esterno nel join stream-stream v4
• SPARK-56217 Correggere le eccezioni bucketBy nella connessione
• SPARK-56225 Migliorare il messaggio di errore di visualizzazione CON SCHEMA EVOLUTION
• SPARK-55865 Rinominare _LEGACY_ERROR_TEMP_1266 in CANNOT_TRUNCATE_EXTERNAL_TABLE
• SPARK-55861 Rinominare _LEGACY_ERROR_TEMP_2045 con UNSUPPORTED_TABLE_CHANGE
• SPARK-56166 Usare ArrowBatchTransformer.enforce_schema per sostituire la logica di coercizione dei tipi a colonne
• SPARK-56245 Correzione dell'assegnazione di DataFrame.eval inplace in pandas 3
• SPARK-56062 Isolare memory_profiler per migliorare il tempo di importazione
• Il catalogo di sistema SPARK-55964 prevale sul catalogo utenti per gli schemi BUILTIN e SESSION.
• SPARK-56226 Individuare gli errori di analisi prima InternalFrame.__init__ in .loc
• SPARK-55723 Generalizzare l'errore enforce_schema in PySparkTypeError
• SPARK-54878 Aggiungere l'opzione sortKeys alla funzione to_json
• SPARK-56219 Allineare il comportamento di groupby idxmax e idxmin skipna=False con pandas 2/3
• SPARK-44065 Ottimizzare l'asimmetria di BroadcastHashJoin in OptimizeSkewedJoin
• SPARK-56179 Revertire "[SC-225014][PYTHON] Consolidare le classi di errore per la mancata corrispondenza del tipo - parte 3"
• SPARK-53399 Unire Python funzioni definite dall'utente
• SPARK-56224 Annotazioni di tipo polacco per accumulators.py
• SPARK-55448 Correzione della perdita di eventi di query quando la sessione viene chiusa durante l'esecuzione della query
• SPARK-55862 Rinominare _LEGACY_ERROR_TEMP_2027 in UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY
• SPARK-56201 Eseguire test SPARK-49829 con join VCF ora che StateDataSource lo supporta
• SPARK-56179 Consolidare le classi di errore per l'incompatibilità di tipo - parte 3
• SPARK-56184 Sostituire assert con SparkRuntimeException corretto nella lettura della colonna di partizione
• SPARK-56206 Correzione del rilevamento dei nomi CTE duplicati senza distinzione tra maiuscole e minuscole
• SPARK-55866 Rinominare _LEGACY_ERROR_TEMP_2145 in OPTION_VALUE_EXCEEDS_ONE_CHARACTER
• SPARK-56067 Importazione differita psutil per migliorare la velocità di importazione
• SPARK-56066 Importazione lazy di numpy per migliorare la velocità di importazione
• SPARK-55719 Rimuovere l'avviso di deprecazione per spark.sql.hive.convertCTAS
• SPARK-56179 Consolidare le classi di errore per la mancata corrispondenza del tipo - parte 2
• SPARK-55510 Aggiornare, per riflettere deleteRange, il documento structured-streaming-state-data-source.md.
• SPARK-56050 Risolvere IDENTIFIEReagerly () con valori letterali stringa in fase di analisi
• SPARK-56151 Migliorare la stringa di visualizzazione CreateVariable
• SPARK-55751 Aggiungere metriche nei caricamenti dell'archivio stati da DFS
• SPARK-56188 Allineare Series.map({}) con il comportamento di pandas 3 relativo a un dizionario vuoto.
• SPARK-55964 Annulla "[SC-223957] il catalogo di sistema prevale sul catalogo utenti per gli schemi BUILTIN e SESSION".
• SPARK-55577 Esegui il refactoring della logica di wrapper, mapper e serializer SQL_SCALAR_ARROW_ITER_UDF
• SPARK-55596 DSV2 Filtraggio avanzato delle statistiche delle partizioni
• SPARK-56179 Reversione di "[SC-224777][PYTHON] Consolidamento delle classi di errore per la mancata corrispondenza del tipo - parte 2"
• Il catalogo di sistema SPARK-55964 prevale sul catalogo utenti per gli schemi BUILTIN e SESSION.
• SPARK-56050 Ripristinare "[SC-224153][SQL] Eagerly resolve IDENTIFIER() con valori letterali stringa in fase di analisi"
• SPARK-56179 Consolidare le classi di errore per la mancata corrispondenza del tipo - parte 2
• SPARK-56102UnionEstimation pulizia del codice
• SPARK-51712 Gestire le Throwable non fatali durante l'elaborazione delle tabelle/viste in spark.catalog.listTables()
• SPARK-55881 Aggiungere queryId, errorMessage e rootExecutionId all'API REST di esecuzione SQL
• SPARK-56050 Risolvere immediatamente IDENTIFIER() con letterali stringa in fase di analisi
• SPARK-55628 Integrare il formato stato di join stream-stream V4
• SPARK-56187 Correzione dell'ordinamento di Series.argsort null per pandas 3
• SPARK-56167 Allineare astype con il comportamento predefinito della stringa pandas 3
• SPARK-56018 Utilizzare ruff come formattatore
• SPARK-56042 Correzione delle metriche relative al conteggio delle famiglie di colonne esterne/interne invertite in RocksDBStateStoreProvider
• SPARK-56179 Consolidare le classi di errore per la mancata corrispondenza del tipo - parte 1
• SPARK-56089 Allineare asinh/acosh con l'algoritmo fdlibm per la compatibilità tra motori
• SPARK-55453 Correzione della corrispondenza dei criteri LIKE per i caratteri Unicode supplementari
• SPARK-52785 Semplificazione della sintassi super() in PySpark
• SPARK-56169 Correzione ClassCastException nella segnalazione degli errori quando GetStructField il tipo figlio viene modificato dalla trasformazione del piano
• SPARK-55557 Le funzioni iperboliche non devono andare in overflow con valori elevati
• SPARK-47997 Aggiungere il parametro errors a DataFrame.drop e Series.drop
• SPARK-55008 Visualizzare l'ID della query in SparkUI
• SPARK-54660 Aggiungere un trigger RTM a Python
• SPARK-56047 Propagare distinctCount attraverso l'unione nella stima delle statistiche CBO
• SPARK-56111 Aggiungere SparkContext.isDriver() e usarlo nella codebase
• SPARK-55999 Abilitare forceSnapshotUploadOnLag per impostazione predefinita
• SPARK-55610 Aggiungere getExecutorInfos a StatusTracker in Python
• SPARK-55728 Introdurre la configurazione per le dimensioni del pool di thread del checksum del file e supportare la disabilitazione del pool di thread.
• SPARK-55686 SizeEstimator si occupa delle intestazioni degli oggetti compatti
• SPARK-56044 HistoryServerDiskManager non elimina app store al rilascio quando l'app non si trova nella mappa attiva
• SPARK-55809 HeapHistogram usa DiagnosticCommandMBean invece del sottoprocesso jmap
• SPARK-56122 Utilizzare il controllo di tipo numerico compatibile con pandas in Series.cov
• SPARK-56113 Migliorare il ripristino delle stringhe di pandas 3 su pandas-on-Spark
• SPARK-56118 Allineare la gestione dei valori booleani di pandas 3.0 nella funzione GroupBy.quantile
• SPARK-53823 Implementare l'elenco consenti per la modalità in tempo reale
• SPARK-55977 Correzione di isin() per usare una corrispondenza dei tipi rigorosa come pandas
• SPARK-54027 Supporto di Kafka Source RTM
• SPARK-50284 Modificare la documentazione per la funzione parseJson
• SPARK-56035 [SQL] Introdurre AggregationValidator per la convalida dei resolver a passaggio singolo Aggregate
• SPARK-55557 Ripristinare "[SC-223720][SQL] Le funzioni iperboliche non devono sovraflow con input di grandi dimensioni"
• SPARK-56075 Rimuovere un batch di classi di errore Python non recapitabili
• SPARK-55967 Unify column conversion for connect dataframe (Unify column conversion for connect dataframe)
• SPARK-53915 Aggiungere RealTimeScanExec e la possibilità di eseguire batch con esecuzione prolungata
• SPARK-55557 Le funzioni iperboliche non devono andare in overflow con gli input di grandi dimensioni
• SPARK-55147 Delimitare l'intervallo di timestamp per il ripristino del join su intervallo di tempo nel formato di stato V4
• SPARK-56056 Supportare la profilatura dei ruoli di lavoro più semplice con viztracer
• SPARK-55948 Aggiungere l'API del connettore DSv2 CDC, la risoluzione dell'analizzatore e la clausola SQL CHANGES
• SPARK-54599 Riapplicare "[SC-219008][PYTHON] Rifattorizzare PythonExcept...
• SPARK-55390 Consolidare la logica di wrapper, mapper e serializer di SQL_SCALAR_ARROW_UDF
• SPARK-56023 Bilanciamento del carico migliore in LowLatencyMemoryStream
• SPARK-55986 Aggiornare il nero alla versione 26.3.1
• SPARK-55667 Spostare check_dependencies in init
• SPARK-55145 Supporto di Avro per codificatori di chiavi di stato RocksDB basati su timestamp
• SPARK-53970 Rimuovere il tag 'facoltativo' non corretto per messageName...
• SPARK-55059 Annullare "[SC-224058][PYTHON] Rimuovere la soluzione alternativa per la gestione delle tabelle vuote in toPandas"
• SPARK-50111 Aggiungere il supporto dei sottoplot per i grafici a torta nel backend Plotly
• SPARK-56081 Allineare la gestione idxmax e idxmin NA con pandas 3
• SPARK-56080 Allineare Series.argmax/argmin alla gestione dei valori NA in pandas 3.0
• SPARK-56060 Gestire la conversione delle stringhe null di pandas 3 in describe() per i frame di timestamp vuoti
• SPARK-55059 Rimuovere la soluzione alternativa per gestire la tabella vuota in toPandas
• SPARK-55995 Supporto di TIMESTAMP CON FUSO ORARIO LOCALE nella sintassi SQL
• SPARK-55976 Usare Set anziché Seq per i privilegi di scrittura
• SPARK-56073 Semplificare la compilazione di PythonRunnerConfMap
• SPARK-55887 Gestione speciale per CollectLimitExec/CollectTailExec evitare analisi complete delle tabelle
• SPARK-55980 Applicare sempre _cast_back_float nei calcoli numerici
• SPARK-55357 Correzione della docstring per timestamp_add
• SPARK-55667 Ripristina "[SC-223289][PYTHON][CONNECT] Reverti lo spostamento di check_dependencies in init"
• SPARK-54285 Ripristinare "[PYTHON] Memorizzare nella cache le informazioni sul fuso orario per evitare una conversione di timestamp costosa"
• SPARK-56021 Aumentare la soglia predefinita autoSnapshotRepair maxChangeFileReplay da 50 a 500
• SPARK-55870 Aggiungere documenti per i tipi geografici
• SPARK-55962 Usare getShort invece di eseguire il cast getInt su piattaforme putShortsFromIntsLittleEndian Little Endian
• SPARK-55903 Semplificare l'evoluzione dello schema MERGE e controllare i privilegi di scrittura
• SPARK-55326 Rilasciare una sessione remota quando SPARK_CONNECT_RELEASE_SESSION_ON_EXIT è impostato
• SPARK-55667 Spostare check_dependencies nella funzione init
• SPARK-55884 Aggiungere v1StatsToV2Stats alla relazione DataSourceV2Relation
• SPARK-55929 Aggiungi la mancante toString() a TableChange.UpdateColumnDefaultValue
• SPARK-55851 Chiarire i tipi di partizione e lettura dell'origine dati
• SPARK-55828 Aggiungere DSV2 TableChange toString e correggere la classe di errore mancante per Merge into Schema Evolution
• SPARK-55790 Costruire un registro SRS completo usando i dati PROJ 9.7.1
• SPARK-55645 Aggiungere serdeName a CatalogStorageFormat
• SPARK-54796 Correzione dell'NPE causata da una condizione di competizione tra l'inizializzazione dell'executor e la migrazione di shuffle
• SPARK-55983 Nuove funzionalità dell'analizzatore a passaggio singolo e correzioni di bug
• SPARK-55964 Coerenza della cache: cancella il registro delle funzioni su DROP DATABASE
• SPARK-55868 Correzione del predicato pushdown di InMemoryTable per V2Filters
• SPARK-55973 Ottimizzazione LeftSemi per unione di stream-stream
• SPARK-54665 Correzione del confronto tra valori booleani e stringa in modo che corrisponda al comportamento pandas
• SPARK-55539 Consenti cast da GeographyType a GeometryType
• SPARK-55695 Evitare la doppia pianificazione nelle operazioni a livello di riga
• SPARK-55904 Usare _check_same_session per restringere i tipi
• SPARK-55965 Aggiungere un avviso quando pandas >= 3.0.0 viene usato con PySpark
• SPARK-55493 [SS] Non creare directory nella directory di log di checkpoint streaming offset/commit nella StateDataSource.
• SPARK-55851 Ripristina "[SC-223270][PYTHON] Chiarire i tipi di partizione e lettura della fonte dati"
• SPARK-55645 Ripristinare "[SC-221839][SQL] Aggiungere serdeName a CatalogStorageFormat"
• SPARK-55640 Propagare gli errori di analisi WKB per Geometry e Geography
• SPARK-55693 Evitare lo stallo rendendo SparkSession.observationManager un valore non lazy
• SPARK-55528 Aggiungere il supporto di collazione predefinito per le funzioni definite dall'utente di SQL
• SPARK-55860 Usare UNABLE_TO_INFER_SCHEMA invece di UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
• SPARK-55275 Aggiungere gli stati SQL InvalidPlanInput per sql/connect
• SPARK-55645 Aggiungere serdeName a CatalogStorageFormat
• SPARK-55716 Supporta l'imposizione del vincolo NOT NULL per gli inserimenti nelle tabelle di origine file V1
• SPARK-53226 Rendere ClosingCleaner funzionante con Java22+
• SPARK-55997 Impostare il limite superiore sul prefissoScan nel provider dell'archivio stati di RocksDB
• SPARK-55851 Chiarire i tipi di partizione e lettura dell'origine dati
• SPARK-55954 Rimuovere l'hint per il tipo di overload non corretto per fillna
• SPARK-56016 Preservare le colonne Serie denominate nella funzione concat con ignore_index in pandas 3
• SPARK-55502 Unificare la gestione degli errori di conversione del framework Arrow in UDF e UDTF
• SPARK-55989 Conservare i dtype degli indici non int64 in restore_index
• SPARK-55955 Rimuovere l'hint per il tipo di overload per drop
• SPARK-55945 [SDP] Supporta identificatori strutturati per i flussi nei protos di analisi eager SDP
• SPARK-55714 JDK potrebbe generare un'eccezione ArithmeticException senza messaggio
• SPARK-55991 Correggere il danneggiamento del testo SQL correlato a Unicode con i parametri
• SPARK-55696 Aggiungere un errore esplicito a Encoders.bean per la classe di interfaccia
• SPARK-55533 Supporto di IGNORE NULLS/RESPECT NULLS per collect_set
• SPARK-55987 Correzione dell'estrazione del timestamp di join finestra V4 usando findJoinKeyOrdinalForWatermark
• SPARK-55946 Configurare pandas_priority in modo che le operazioni binarie miste vengano inviate correttamente a pandas-on-Spark
• SPARK-55264 Aggiungere il comando ExecuteOutput alle pipeline spark Connect proto
• SPARK-47672 Evitare la doppia valutazione dal pushdown del filtro con il pushdown della proiezione
• SPARK-55780 Sostituire il logo PNG con SVG nell'interfaccia utente Web Spark
• SPARK-55821 Imporre argomenti solo per parola chiave nei metodi init del serializzatore
• SPARK-55621 Correggere l'utilizzo unicode ambiguo e non necessario
• SPARK-55662 Implementazione dell'argomento asse idxmin
• SPARK-55631ALTER TABLE deve invalidare la cache per le tabelle DSv2
• SPARK-55692 Correzione SupportsRuntimeFiltering e SupportsRuntimeV2Filtering documentazione
• SPARK-55928 Nuovo linter per l'efficacia della configurazione nelle visualizzazioni e nelle funzioni definite dall'utente
• SPARK-55440 Framework dei tipi - Fase 1a - Core Type System Foundation
• SPARK-55631 Ripristinare "[SC-221596][SQL] ALTER TABLE deve invalidare la cache per le tabelle DSv2"
• SPARK-55631ALTER TABLE deve invalidare la cache per le tabelle DSv2
• SPARK-55683 Ottimizzare VectorizedPlainValuesReader.readUnsignedLongs
• SPARK-55892 Correzione dell'impossibilità di caricare l'archivio stati perché il file SST riutilizzato è stato eliminato dalla manutenzione
• SPARK-55946 Ripristinare "[SC-223027][PS] Configurare pandas_priority in modo che le operazioni binarie miste vengano inviate correttamente a pandas-on-Spark"
• SPARK-55891 Mantenere il contesto di scripting SQL all'interno di EXECUTE IMMEDIATE
• SPARK-55907 Correggere le posizioni di errore non corrette per i tipi di dati non validi in CREATE FUNCTION
• SPARK-55946 Configurare pandas_priority in modo che le operazioni binarie miste vengano inviate correttamente a pandas-on-Spark
• SPARK-55694 Blocchi di vincoli in CTAS/RTAS a livello del parser
• SPARK-55682 L'iteratore restituito da ServiceLoader può generare un'eccezione NoClassDefFoundErrorhasNext()
• SPARK-55155 Correzione per consentire l'uso di caratteri speciali e backtick nel nome dell'identificatore
• SPARK-55932 Correzione dell'impasse del parser XML per varianti su scala negativa
• SPARK-55673 Aggiungere altri test per il codificatore di tipi annidati
• SPARK-55679 Correzione del rilevamento sun.io.serialization.extendedDebugInfo in Java 25
• SPARK-55957 Aggiungere 'DATA_SOURCE_NOT_FOUND' in Catalog.ERROR_HANDLING_RULES
• SPARK-55052 Aggiungere le proprietà di AQEShuffleRead all'albero del piano fisico
• SPARK-55652 Ottimizzare VectorizedPlainValuesReader.readShorts() con l'accesso diretto alle matrici per i buffer heap
• SPARK-55659 Migliorare EventLogFileWriter per registrare l'operazione stop
• SPARK-54666 Lasciare i tipi numerici invariati su to_numeric
• SPARK-55654 Abilitare l'eliminazione di TreePattern per EliminaSubqueryAliases e ResolveInlineTables
• SPARK-55533 Ripristinare "[SC-220538][SQL] Supporto IGNORE NULLS/RESPECT NULLS for collect_set"
• SPARK-55901 Generare un errore con Series.replace() senza argomenti
• SPARK-55896 Usare funzioni numpy invece di builtins
• SPARK-55655 Rendere CountVectorizer deterministico il vocabolario quando i conteggi sono uguali
• SPARK-55811 [SQL] Catch NonFatal invece di UnresolvedException quando si chiama nodeWithOutputColumnsString
• SPARK-55533 Supporto di IGNORE NULLS/RESPECT NULLS per collect_set
• SPARK-55435 Usare StringBuilder invece di StringBuffer
• SPARK-54807 Consenti nomi qualificati per le funzioni predefinite e di sessione (#198171)
• SPARK-55854 Contrassegnare gli attributi duplicati di pass-through nell'output di Expand per prevenire AMBIGUOUS_REFERENCE
• SPARK-55261 Implementare il supporto in lettura Parquet per i tipi di dati geografici
• SPARK-55416 Perdita di memoria nella sorgente dati streaming di Python quando l'offset finale non viene aggiornato
• SPARK-55465 Supporta GeometryType in convert_numpy
• SPARK-55801 Correzione del suggerimento di tipo di _SimpleStreamReaderWrapper.getCache
• SPARK-55800 Rimuovere il controllo del tipo inutilizzato per datetime.date
• SPARK-55663 Unificare il modulo per le funzioni di origine dati
• SPARK-55665 Unificare come i worker stabiliscono una connessione con l'executor
• SPARK-53446 Ottimizzare le operazioni di rimozione di BlockManager con mapping di blocchi memorizzati nella cache
• SPARK-55867 Risoluzione di StringMethods per compatibilità con pandas 3
• SPARK-55501 Correzione per il bug di listagg distinct + within group order by
• SPARK-55558 Aggiungi supporto per le operazioni con tuple/insiemi Theta
• SPARK-55636 Aggiungere errori dettagliati in caso di deduplicazione di colonne non valide
• SPARK-55788 Supporto di ExtensionDType per i numeri interi nelle UDF di Pandas
• SPARK-55464 Implementazione del supporto per GeographyType in convert_numpy
• SPARK-55530 Supporto dei set di risultati geo nel server Hive e Thrift
• SPARK-55525 Correzione UDTF_ARROW_TYPE_CONVERSION_ERROR con il parametro del messaggio di errore non definito
• SPARK-55626 Non caricare colonne di metadati nella tabella a meno che non sia necessario in V2TableUtil
• SPARK-55533 Ripristinare "[SC-220538][SQL] Supporto IGNORE NULLS/RESPECT NULLS for collect_set"
• SPARK-55435 Ripristinare "[SC-219656][CORE][SQL] Usare StringBuilder invece di StringBuffer"
• SPARK-55533 Supporto di IGNORE NULLS/RESPECT NULLS per collect_set
• SPARK-54452 Correzione della risposta vuota dal server SparkConnect all'interno di spark.sql(...) FlowFunction
• SPARK-55638 Eseguire il refactoring della serializzazione WKT in GeometryModel
• SPARK-55551 Migliorare il BroadcastHashJoinExec partizionamento dell'output
• SPARK-54314 Migliorare la debuggabilità lato server in Spark Connect acquisendo il nome del file e i numeri di riga dell'applicazione client
• SPARK-55517 Ottimizzare VectorizedPlainValuesReader.readBytes() con l'accesso diretto alle matrici per i buffer heap
• SPARK-55495 Correggi EventLogFileWriters.closeWriter per gestire checkError
• SPARK-55279 Aggiungere sketch_funcs un gruppo per le funzioni SQL di DataSketches
• SPARK-55435 Usare StringBuilder invece di StringBuffer
• SPARK-55064 Supporto del tentativo di riordino indeterminato a livello di query
• SPARK-55411 SPJ può generare arrayIndexOutOfBoundsException quando le chiavi di join sono minori di quelle del cluster
• SPARK-55451 I cursori devono iniziare a raccogliere i risultati in OPEN, non prima FETCH
• SPARK-54687 Aggiungere altri casi limite con generatori
• SPARK-55691 Client GetStatus
• SPARK-55277 Aggiungere protobuf_funcs un gruppo per le funzioni SQL Protobuf
• SPARK-55822 Rinominare _LEGACY_ERROR_TEMP_0052 in CREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACE
• SPARK-55236 Affrontare un'eccezione imprevista in alcuni test case di CoarseGrainedExecutorBackendSuite
• SPARK-55275 Copertura dello stato SQL: IllegalStateException
• SPARK-55462 Riapplicare "[SC-221123][PYTHON] Support VariantType in convert_numpy"
• SPARK-55062 Supportare le estensioni proto2 nelle funzioni protobuf
• SPARK-55248 Risolvere l'uso deprecato dell'API Jackson in streaming.checkpointing.Checksum
• SPARK-55250 Ridurre le chiamate client Hive su CREATE NAMESPACE
• SPARK-55247 Pulire l'utilizzo deprecato dell'API correlato a o.a.c.io.input.BoundedInputStream
• SPARK-55198 spark-sql deve ignorare la riga di commento con spazi vuoti iniziali
• SPARK-55826 Rinominare _LEGACY_ERROR_TEMP_0006 in MERGE_INSERT_VALUE_COUNT_MISMATCH
• SPARK-55127 Aggiungere avro_funcs gruppo per le funzioni SQL avro
• SPARK-54914 [SQL] Correzione dell'operatore DROP nella sintassi pipe per supportare nomi di colonna qualificati
• SPARK-55113EnsureRequirements deve copiare i tag
• SPARK-55074 Aggiungere il test per la coercizione dei tipi ANSI
• SPARK-54217 Sincronizzare la decisione di kill di MonitorThread di PythonRunner
• SPARK-54374 Ingrandire l'attributo SVG viewBox nell'inizializzazione della visualizzazione del piano SQL.
• SPARK-54971 Aggiungere la sintassi WITH SCHEMA EVOLUTION per SQL INSERT
• SPARK-55065 Evitare di effettuare due chiamate API JDBC
• SPARK-55033 Correzione di stringArgs dei comandi di scrittura DSv2
• SPARK-55041 Pulizia di alcuni dati privati funcion/val inutilizzati dal modulo principale
• SPARK-55338 Centralizzare la logica di decompressione della richiesta Spark Connect nell'intercettore gRPC
• SPARK-55825 Rinominare _LEGACY_ERROR_TEMP_1309 in PARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTO
• SPARK-55492 Verificare che eventTime in withWatermark sia una colonna di primo livello
• SPARK-55802 Correzione dell'overflow integer durante il calcolo dei byte batch freccia
• SPARK-55694 Blocchi di vincoli in CTAS/RTAS a livello del parser
• SPARK-55843 Gestire l'unità di dtype datetime64 e timedelta64
• SPARK-55824 Rinominare _LEGACY_ERROR_TEMP_1034 in WINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSE
• SPARK-55819 Effettuare il refactoring di ExpandExec per essere più conciso
• SPARK-55341 Aggiungere il flag a livello di archiviazione per le relazioni locali memorizzate nella cache
• SPARK-54599 Ripristinare "[SC-219008][PYTHON] Refactoring PythonException in modo che possa accettare errorClass con sqlstate"
• SPARK-46167 Aggiungere l'implementazione dell'asse a DataFrame.rank
• SPARK-54599 Effettuare il refactoring di PythonException in modo che possa accettare errorClass con sqlstate
• SPARK-55529 Riapplicare [ES-1721989][SC-220716][PYTHON] Restore Arrow-level batch merge for non-iterator applyInPandas
• SPARK-55794 Sempre alias OuterReference
• SPARK-55583 Convalidare i tipi di schema Arrow nell'origine dati Python
• SPARK-37711 Ridurre il numero di lavori di descrizione pandas da O(N) a O(1)
• SPARK-46168 Aggiungere l'argomento asse alla funzione idxmax
• SPARK-46162 Implementare nunique con axis=1
• SPARK-55552 Aggiungere il supporto VariantType a ColumnarBatchRow.copy() e MutableColumnarRow
• SPARK-55647 Correzione ConstantPropagation errata della sostituzione degli attributi con regole di confronto non binarie-stabili
• SPARK-55747 Correzione dell'NPE durante l'accesso agli elementi da un array che è nullo
• SPARK-55757 Migliorare la spark.task.cpus convalida
• SPARK-55699 Lettura incoerente di LowLatencyClock se usata insieme a ManualClock
• SPARK-55702 Supporto del predicato di filtro nelle funzioni di aggregazione finestra
• SPARK-55510 Correzione del deleteRange dell'archivio di stato di Rocksdb per chiamare changelogWriter
• SPARK-55739 Ottimizzare OnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndian utilizzando Platform.copyMemory sulle piattaforme little-endian
• SPARK-55730 Non convertire il fuso orario in minuscolo
• SPARK-55701 ES-1694761[SS] Correzione della condizione di competizione in CompactibleFileStreamLog.allFiles
• SPARK-55462 Ripristinare "[SC-221123][PYTHON] Support VariantType in convert_numpy"
• SPARK-55144 Introdurre una nuova versione del formato di stato per un join stream-stream ad alte prestazioni
• SPARK-55606 Implementazione lato server dell'API GetStatus
• SPARK-55462 Supportare il VariantType in convert_numpy
• SPARK-55600 Correzione: la conversione da pandas ad arrow perde il conteggio delle righe quando lo schema ha 0 colonne su classic
• SPARK-55700 Correzione della gestione delle chiavi intere nella Series con indice non intero
• SPARK-55349 Consolidare gli strumenti di conversione da pandas a Arrow nei serializzatori
• SPARK-55681 Correzione dell'uguaglianza del tipo di dato singleton dopo la deserializzazione (nuovo tentativo)
• SPARK-55681 Ripristina "[SC-221427][SC-214079][SQL] Correzione dell'uguaglianza DataType singleton dopo la deserializzazione"
• SPARK-55681 Correzione dell'uguaglianza singleton DataType dopo la deserializzazione
• SPARK-55674 Ottimizzare la conversione di tabelle a 0 colonne in Spark Connect
• SPARK-55323 Riapplicare "[SC-218885][PYTHON] Spostare i metadati UDF in EvalConf per semplificare il protocollo di lavoro"
• SPARK-55322 Riapplicare [SC-221062][SQL] MaxBy e MinBy Overload con K Elements
• SPARK-55323 Ripristinare "[SC-218885][PYTHON] Spostare i metadati UDF in EvalConf per semplificare il protocollo di lavoro"
• SPARK-55615 Spostare l'importazione SparkContext nel ramo della classe
• SPARK-55323 Spostare i metadati della UDF in EvalConf per semplificare il protocollo dei worker
• SPARK-55648 Gestire un errore groupby(axis) di argomento parola chiave imprevisto con pandas 3
• SPARK-55647 Ripristinare "[SC-221274][SQL] Correzione ConstantPropagation errata della sostituzione degli attributi con regole di confronto non binarie stabili"
• SPARK-55646 Rifattorizzazione di SQLExecution.withThreadLocalCaptured per separare l'acquisizione locale del thread dall'esecuzione
• SPARK-54854 Aggiungere un ID query UUIDv7 agli eventi di esecuzione SQL
• SPARK-55619 Correggere le metriche personalizzate in caso di partizioni coalesce
• SPARK-55647 Correzione ConstantPropagation errata della sostituzione degli attributi con regole di confronto non binarie-stabili
• SPARK-55322 Ripristinare "[SC-221062][SQL] MaxBy e MinBy Overload con K Elements"
• SPARK-54740 Avviare il gestore errori nelle prime fasi della modalità daemon
• SPARK-55493 [SS] Non eseguire mkdirs nella directory dello stato di checkpoint dello streaming nel contesto di StateDataSource
• SPARK-55322MaxBy e MinBy Sovraccarico con gli elementi K
• SPARK-55625 Correzione di StringOps per il str corretto funzionamento di dtype
• SPARK-55161 Riapplicare "[SC-218867][PYTHON] Supportare i profiler nell'origine dati Python"
• SPARK-55505 Risoluzione del NPE durante la lettura di EXECUTION_ROOT_ID_KEY in scenari concorrenti
• SPARK-55111 Ricontrollare il rilevamento di ripartizioni non completate al riavvio della query
• SPARK-55593 Unificare lo stato di aggregazione per vector_avg/vector_sum
• SPARK-55500 Correzione del ciclo dell'analizzatore tra ApplyDefaultCollation, ExtractWindowExpressions e CollationTypeCasts
• SPARK-55494 Introdurre iterator/prefix scan nell'API StateStore con più valori
• SPARK-55561 Aggiungere nuovi tentativi per tutti i metodi del client amministrativo Kafka
• SPARK-55296 Supportare la modalità CoW con pandas 3
• SPARK-55479 Risolvere i problemi di stile in SparkShreddingUtils
• SPARK-55372 Correzione SHOW CREATE TABLE per tabelle/viste con collazione predefinita.
• SPARK-55333 Abilitare DateType e TimeType in convert_numpy
• SPARK-55129 Introdurre nuovi codificatori di chiavi per timestamp come prima classe (UnsafeRow)
• SPARK-46163 Parametri DataFrame.update filter_func ed errori
• SPARK-55372 Ripristina "[SC-220571][SQL] Correzione SHOW CREATE TABLE per tabelle/viste con collazione predefinita"
• SPARK-55480 Rimuovere tutti i noqa inutilizzati per ruff
• SPARK-55471 Aggiungere il supporto di Optimizer per SequentialStreamingUnion
• SPARK-55584 Generare un errore migliore eseguendo una sottoquery scalare con EXEC IMMEDIATE.
• SPARK-55161 Annulla "[SC-218867][PYTHON] Supporto per profiler nell'origine dati Python"
• SPARK-55506 Passare uno schema di input esplicito a to_pandas in CogroupPandasUDFSerializer
• SPARK-55586 Aggiungi jdbc.py esempio
• SPARK-55161 Abilitare i profiler nell'origine dati Python
• SPARK-55529 Revertire "[SC-220716][PYTHON] Ripristinare l'unione batch a livello di Arrow per applyInPandas non iterativo"
• SPARK-55385 Attenuare il ricalcolo in zipWithIndex
• SPARK-55529 Ripristinare l'unione batch livello Arrow per applyInPandas non iteratore
• SPARK-55389 Consolidare SQL_MAP_ARROW_ITER_UDF la logica di wrapping, mapping e serializzazione
• SPARK-55406 Reimplementare il pool di thread per ExecutePlanResponseReattachableIterator
• SPARK-55372 Correzione SHOW CREATE TABLE per tabelle/viste con regole di confronto predefinite
• SPARK-55367 Utilizzare venv per eseguire i test pip
• SPARK-55355 Aggiornare la versione di mypy alla versione più recente
• SPARK-55460 Rimuovere E203 dall'elenco di ignorati di ruff
• SPARK-55541 Supporto Geometria e Geografia nei convertitori tipo Catalyst
• SPARK-55449 Abilitare l'analisi e la scrittura WKB per Geography
• SPARK-55339 Implementare il supporto del writer WKT per gli oggetti Geo
• SPARK-54122 Implementare TwsTester in Scala
• SPARK-54805 Implementare TwsTester in PySpark
• SPARK-55256 Riapplicare "[SC-218596][SQL] Supporto di IGNORE NULLS/RESPECT NULLS per array_agg e collect_list"
• SPARK-55156 Affrontare la questione di include_groups per groupby.apply
• SPARK-55401 Aggiungere la logica di ripetizione dei tentativi e la gestione del timeout al download dell'installazione di pyspark
• SPARK-55229 Implementare DataFrame.zipWithIndex in PySpark
• SPARK-55462 Supporto di UserDefinedType in convert_numpy
• SPARK-55483 Correzione di NpE in PivotFirst quando la colonna pivot è un tipo non atomico con valori Null
• SPARK-55490 Includere groupby(as_index=False) un raggruppamento che non si trova nel dataframe con pandas 3
• SPARK-55473 Sostituire itertools.tee con chain in applyInPandasWithState
• SPARK-55404 Generare sempre KeyboardInterrupt dal gestore SIGINT
• SPARK-55407 Sostituire logger.warn con logger.warning

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Ambiente di sistema

• Sistema operativo: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.1.0

Librerie di Python installate

Librerie R installate

Le librerie R vengono installate dal Posit Gestione pacchetti CRAN snapshot del 20 novembre 2025.

Librerie Java e Scala installate (versione del cluster Scala 2.13)