Databricks Runtime 19 (bèta)

Deze pagina bevat uniforme releaseopmerkingen voor Databricks Runtime 19, mogelijk gemaakt door Apache Spark 4.2.0. Hierin worden alle functies, gedragswijzigingen en oplossingen vermeld die in de releasecyclus van Databricks Runtime 19 zijn verzonden. Clusters ontvangen updates wanneer ze opnieuw worden opgestart.

Zie ondersteuningslevenscycli van Databricks voor informatie over de ondersteuningslevenscyclus van Databricks Runtime.

Databricks Runtime 19 (bèta): 26 juni 2026

Gedragswijzigingen

• Beschikbaarheid van omgevingsvariabelen beperkt in de standaardtoegangsmodus: In de standaardtoegangsmodus is alleen een vooraf gedefinieerde set omgevingsvariabelen beschikbaar voor de Spark-engine en init-scripts. Deze set bevat algemene configuratievariabelen, zoals proxy-instellingen (HTTP_PROXY), cloudreferenties (AWS_ACCESS_KEY_ID, AZURE_CLIENT_ID) en catalogusvariabelen (CATALOG). Andere variabelen die u op een cluster instelt, blijven beschikbaar voor uw gebruikerscode, inclusief UDF's, maar zijn niet beschikbaar voor de Spark-engine of init-scripts. Voorheen waren alle omgevingsvariabelen van het cluster beschikbaar voor de Spark-engine en init-scripts. Zie beperkingen voor omgevingsvariabelen.
• Beperkte Spark-configuraties in de standaardtoegangsmodus: In de standaardtoegangsmodus kunt u bepaalde Spark-configuratie-eigenschappen niet meer instellen. Het maken of bewerken van een cluster waarmee een beperkte eigenschap (overeenkomend met voorvoegsel) wordt ingesteld, mislukt met een fout. Beperkte eigenschappen zijn onder meer spark.driver.extraJavaOptions, spark.executor.extraJavaOptions, spark.jars, spark.files, en spark.executorEnv.*, spark.kubernetes.*onder andere. Voorheen kon u deze eigenschappen instellen in de standaardtoegangsmodus. Verwijder ze uit de clusterconfiguratie voordat u een upgrade uitvoert. Zie Beperkingen voor Spark-configuratie voor de volledige lijst.

Databricks Runtime 19 (bèta): 15 juni 2026

Databricks Runtime 19 is nu beschikbaar in bètaversie, mogelijk gemaakt door Apache Spark 4.2.0.

Gedragswijzigingen

• JDK 17 verwijderd: Databricks Runtime 19 ondersteunt alleen JDK 21. Voorheen bevatte Databricks Runtime 18 JDK 17 als een terugvaloptie die kon worden geselecteerd met behulp van de JNAME omgevingsvariabele. Die fallbackoptie is niet langer beschikbaar in Databricks Runtime 19. Clusters die JNAME=zulu17-ca-amd64 instellen (of het ARM-equivalent) moeten de omgevingsvariabele verwijderen voordat ze upgraden.
• Python pakketten verwijderd: Vergeleken met Databricks Runtime 18 worden ongeveer 90 standaardruntimepakketten verwijderd in Databricks Runtime 19. Belangrijke verwijderingen zijn onder andere plotly, seaborn, openai, langchain-core, langchain-openai, , huggingface_hub, en psycopg2pyodbc. De gebundelde JupyterLab-server wordt gesplitst uit de basisinstallatiekopie en verwijdert ongeveer 54 Jupyter-gerelateerde pakketten. Workloads die afhankelijk zijn van deze pakketten, moeten ze expliciet installeren met behulp van een clusterbibliotheek of init-script. Zie Geïnstalleerde Python bibliotheken voor de volledige lijst met pakketten die zijn opgenomen in Databricks Runtime 19. Zie Databricks Runtime 19 voor Machine Learning (bèta) voor specifieke verwijderingen van ML-runtime.
• Gereserveerde tabeleigenschap: Databricks Runtime 19 behoudt de pipelines.pipelineIdvoor alle tabellen. Als u deze eigenschap handmatig probeert in te stellen, treedt er een fout op. Verwijder expliciete pipelines.pipelineId toewijzingen uit de tabel-DDL voordat u een upgrade uitvoert.
• Watermerkvertraging in realtime-modus verschoven met +1 ms: Bij streamingquery’s in realtime-modus (RTM) gold voorheen dat, wanneer het watermerk halverwege een batch opschoof via realtime-watermerkpropagatie, een record waarvan de gebeurtenistijd gelijk was aan het huidige watermerk als te laat werd beschouwd en werd weggelaten. De vertraging van het gebeurtenistijdwatermerk wordt nu verschoven met +1 ms, zodat de controle voor late records effectief strikt is en records waarvan de gebeurtenistijd gelijk is aan het huidige watermerk worden nu bewaard. De microbatchmodus wordt niet beïnvloed.
• Toegestane lijst met toegestane DStream-controlepunten voor aangepaste typen: Apache Spark 4.2.0 introduceert een beveiligingsbeheer voor DStream-controlepuntdeserialisatie. Gebruikers die binnen DStream-closures gebruikmaken van aangepaste typen of typen van derden, moeten spark.streaming.checkpoint.allowedClasses instellen op een door komma's gescheiden lijst met volledig gekwalificeerde klassenamen of jokertekenpatronen voordat ze checkpoint-herstel proberen uit te voeren. De standaard ingebouwde allowlist omvat alleen standaard Spark-typen.

Apache Spark-oplossingen en -verbeteringen

Databricks Runtime 19 bevat Apache Spark 4.2.0. Deze release bevat alle Spark-oplossingen en verbeteringen die zijn opgenomen in Databricks Runtime 18, evenals de volgende aanvullende foutoplossingen en verbeteringen in Spark:

• is_valid_variant expressie: SQL ondersteunt is_valid_variant(expr)nu, wat retourneert true als de invoer een goed gevormde VARIANT waarde is en false anders. Gebruik deze methode om variantgegevens te valideren vóór downstreamverwerking.
• INSERT INTO ... REPLACE ON/USING syntaxis: SQL ondersteunt INSERT INTO ... REPLACE ON <columns> en INSERT INTO ... REPLACE USING <subquery> syntaxis, waardoor schrijfbewerkingen in upsert-stijl worden ingeschakeld die bestaande rijen vervangen op basis van overeenkomende kolomwaarden.
• DSv2-transactiebeheer: Data Source v2-catalogi ondersteunen nu transactiebeheer, waardoor atomische schrijfbewerkingen met meerdere tabellen en consistente leesbewerkingen voor catalogusbewerkingen mogelijk zijn.
• Batch CDC naverwerking met ChangelogTable: SQL ondersteunt nu het lezen van CDC-uitvoer (Change Data Capture) als een changelog en het berekenen van netwijzigingen in de batchmodus. De ResolveChangelogTable analyzer valideert het changelog-schema en berekent samengevoegde resultaten van onbewerkte CDC-rijen.
• TABLESAMPLE SYSTEM bloksampling met DSv2-pushdown: TABLESAMPLE SYSTEM wordt nu ondersteund voor Data Source v2-tabellen, waardoor percentagegebaseerde sampling op blokniveau kan worden doorgestuurd naar de gegevensbron voor betere prestaties.
• CREATE VIEW en ALTER VIEW voor DSv2-catalogi: Data Source v2-catalogi ondersteunen nu CREATE VIEW- en ALTER VIEW-instructies, waarmee view-DDL-pariteit beschikbaar komt voor niet-Hive-catalogi.
• CREATE METRIC VIEW in V2-catalogi: CREATE METRIC VIEW wordt nu ondersteund in gegevensbron v2-catalogi.
• KLL-kwantielfuncties in SQL: SQL ondersteunt nu systeemeigen KLL-schetsfuncties die worden aangedreven door Apache DataSketches, waaronder aggregatie- en CDF-berekeningsfuncties voor geschatte kwantielquery's.
• Tuple Sketch-functies in SQL: SQL ondersteunt nu standaard Apache Tuple Sketch-aggregatiefuncties, waarmee benaderende intersectie- en uniebewerkingen mogelijk zijn op payloads met willekeurige typen.
• withSchemaEvolution() in De DataFrame Writer-API: de DataFrame Writer-API bevat withSchemaEvolution()nu automatische schemaontwikkeling bij het schrijven naar tabellen die deze ondersteunen.
• Dataset.zipWithIndex in Scala-API: De Scala Dataset API bevat zipWithIndexnu het koppelen van elk element met de indexpositie, consistent met de bestaande Python en Java API's.
• Scalaire UDF's in functieargumenten met tabelwaarde: SQL biedt nu ondersteuning voor het gebruik van scalaire door de gebruiker gedefinieerde functies als argumenten voor tabelwaardefuncties, waardoor uitgebreidere parameterisatie mogelijk is.
• DataFrameGroupBy.cov in pandas-API in Spark: de pandas-API in Spark ondersteunt DataFrameGroupBy.covnu parsgewijze covariantie van kolommen binnen elke groep.
• SeriesGroupBy.describe in pandas-API in Spark: de pandas-API in Spark ondersteunt SeriesGroupBy.describenu beschrijvende statistieken voor elke groep.
• Downloadkoppelingen plannen in de Spark-gebruikersinterface: de uitvoeringspagina van de Spark-gebruikersinterface bevat nu downloadkoppelingen voor queryplannen in SVG-, DOT- en TXT-indelingen.
• pa.ChunkedArray ondersteuning voor createDataFrame: createDataFrame() verwerkt nu pandas DataFrames met kolommen met PyArrow-ChunkedArray correct, zodat typefouten worden voorkomen bij het gebruik van door Arrow ondersteunde pandas-gegevens.
• Codegen-ondersteuning voor matrixfuncties met een hogere volgorde: matrixfuncties met een hogere volgorde, zoals filter, transformen aggregate profiteer nu van het genereren van JVM-bytecode tijdens het compileren van query's, waardoor de prestaties voor workloads die deze functies intensief gebruiken, worden verbeterd.
• Oplossing: exceptAll correctheid na dropDuplicates met een subset van kolommen: Er is een bug opgelost waarbij df.dropDuplicates(subset).exceptAll(other) onjuiste resultaten opleverde. De oplossing zorgt ervoor dat de logica voor het bijhouden van duplicaten de deduplicatie van subsets correct afhandelt.
• Oplossing: SQL-parser behoudt instructies die eindigen op blokopmerkingen: er is een fout opgelost waarbij SQL-instructies die eindigen op een blokopmerking, op de achtergrond werden verwijderd door de puntkommasplitser. Alle statements worden nu correct geparseerd, ongeacht de gebruikte stijl van eindcommentaar.
• Oplossing: correctheid van stream-stream-joins in stateformaat V4: Een bug in stream-stream-joins met tijdvensterpredicaten is opgelost bij gebruik van RocksDB-state store-formaat V4, waardoor onjuiste joinresultaten tijdens stateful streamingquery’s worden voorkomen.

Bibliotheekverbeteringen

Bibliotheken worden alleen bijgewerkt wanneer er een beveiligingsrisico is met een oudere versie. Wanneer een beveiligingsprobleem wordt geïdentificeerd, voert Databricks een upgrade uit naar de vroegste versie waarmee het probleem wordt opgelost. Als er tijdens deze releasecyclus een upgrade van een bibliotheek is uitgevoerd vanwege een bevestigde beveiligingspatch, wordt de vorige versie ook vermeld om de overgang te documenteren.

Python

R

Java

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Systeemomgeving

• Besturingssysteem: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.6.0
• Delta Lake: 4.2.0

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakketbeheer CRAN-momentopname op PACKAGES.

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.13-clusterversie)