Databricks Runtime 18 (Beta)

Den här sidan innehåller enhetlig versionsinformation för Databricks Runtime 18, som drivs av Apache Spark 4.1.0. Den visar alla funktioner, beteendeändringar och korrigeringar som levereras under Databricks Runtime 18-versionscykeln.

Om enhetlig versionsinformation

Azure Databricks släpper funktioner stegvis under hela versionscykeln utan att ändra versionsnumret. I stället för att avgränsa sidor för varje delversion visas alla uppdateringar på den här sidan som daterade poster. Kluster får uppdateringar när de startas om.

Databricks Runtime 18 är den första versionen som använder det här enhetliga formatet. Tidigare hade varje funktionsversion (18.0, 18.1, 18.2) sin egen sida med viktig information. Dessa sidor är fortfarande tillgängliga som referens. Funktioner som tidigare skulle ha levererats som 18.3 eller senare levereras nu som daterade uppdateringar till Databricks Runtime 18.

• Databricks Runtime 18.0
• Databricks Runtime 18.1
• Databricks Runtime 18.2

I framtiden kommer Databricks Runtime-versioner att följa en livscykel från Beta (tidig utvärdering) via GA (funktionsutveckling, cirka sex månader) till LTS (långsiktigt stöd, tre års stabilitet och säkerhetskorrigeringar). Eftersom 18.0 till 18.2 levererades under den tidigare modellen är Databricks Runtime 18 en övergångsversion som flyttas direkt från Beta till LTS. Fullständig livscykelinformation finns i Supportlivscykler för Databricks Runtime.

Databricks Runtime 18: 29 maj 2026

• Deduplicering i Structured Streaming med NaN-nycklar: Structured Streaming-deduplicering behandlar nu värden med olika bitmönster som NaN som dubbletter när en kolumn av typen double eller float används som dedupliceringsnyckel. NaN Tidigare behandlades värden med olika interna representationer som distinkta och deduplicerades inte.
• Åtgärdade ett problem där behörigheter på tabellnivå kunde tas bort från externa katalogtabeller i Unity Catalog (till exempel Snowflake-anslutningstabeller) under metadatauppdateringen, vilket gjorde att frågor misslyckades med INSUFFICIENT_PERMISSIONS fel. Behörigheter bevaras nu när metadata för externa tabeller uppdateras.

Databricks Runtime 18: 18 maj 2026

Beteendeändringar

Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.

• CREATE OR REPLACE TABLE: CREATE OR REPLACE TABLE bevarar nu befintliga kolumn- och tabellkommenteringar som standard. Tidigare togs kommentarer bort när en tabell återskapades. Hanterade tabeller och vyer matchar nu det befintliga beteendet för materialiserade vyer och strömmande tabeller.
• DataFrame-skrivningar efter namn: writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() och write.mode("append").saveAsTable() konverterar nu automatiskt typkompatibla kolumner (till exempel int till long) så att de matchar målschemat för Delta-tabellen. Tidigare misslyckades dessa åtgärder med ett DELTA_FAILED_TO_MERGE_FIELDS fel när kolumntyperna var kompatibla men inte identiska. Beteendet matchar nu SQL INSERT INTO ... BY NAME. save() och saveAsTable() i överskrivningsläge påverkas inte.
• ALTER TABLE SET TBLPROPERTIES för pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') försöker nu göra den angivna tabellen skrivbar för pipelinen. Tidigare hade inställningen av den här egenskapen på en vanlig tabell ingen effekt. Om tabellen inte kvalificerar sig för skrivningar via pipeline genererar kommandot SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.
• cloud_files_state: Funktionen cloud_files_state table-valued (TVF) innehåller nu en discovery_mode kolumn som visar hur Auto Loader identifierade varje fil. Filer som identifieras innan uppgraderingen har ett null värde i den här kolumnen.
• DESCRIBE EXTENDED AS JSON: Innehåller nu utvärderingsresultat för prediktiv optimering i utdata. Tidigare returnerades inte den här informationen i JSON-utdata.
• Fönstermått för metrisk vy: Returnerar nu korrekta resultat när frågor använder GROUP BY, IN/BETWEEN-filter, eller blandade predikat i fönstrets sorteringskolumn. Tidigare kunde dessa filtermönster ge felaktiga resultat.

Nya funktioner och förbättringar

Följande funktioner och förbättringar är tillgängliga i den här versionen.

• Klusterbibliotek: När du installerar PyPI-bibliotek, hjul eller requirements.txt filer i ett kluster visar fliken Bibliotek och BIBLIOTEK REST API nu alla lösta och installerade paket, inklusive transitiva beroenden. För installationer som löser fler än 500 paket trunkeras listan. Den fullständiga installationsrapporten är tillgänglig i klustrets drivrutinsloggar.
• Automatisk CDC från ögonblicksbild med SQL-syntax: Lakeflow Spark Deklarativa pipelines stöder nu Automatisk CDC från ögonblicksbild med sql-syntax. Tidigare var den här funktionen endast tillgänglig via Python-API:et. Använd CREATE STREAMING TABLE ... FLOW AUTO CDC FROM SNAPSHOT för att bearbeta ögonblicksbildskällor (till exempel Delta-tabeller, molnlagring eller JDBC) en ögonblicksbild i taget. Både SCD Type 1 (standard) och SCD Type 2 stöds.
• array_sort med anpassade jämförelseobjekt: Fotonen accelererar array_sort nu uttryck som använder anpassade jämförelsevärden för att sortera matriser med structs efter ett eller flera fält. Tidigare föll dessa uttryck tillbaka till icke-Photon-körning. Om du vill aktivera den här optimeringen anger du spark.databricks.photon.rewriteArraySortComparator.enabled till true.

Apache Spark-korrigeringar och förbättringar

Den här versionen innehåller följande felkorrigeringar och förbättringar som gjorts i Spark:

• SQL-frågor stöder nu en QUALIFY sats som gör att du kan filtrera på fönsterfunktionens resultat direkt i frågan. Tidigare krävdes att frågan skulle omslutas i en underfråga.
• spark.read.json, spark.read.csvoch spark.read.xml accepterar nu en DataFrame som indata, så att du kan parsa minnesintern data utan att spara den i en fil först.
• DataFrame.changes() kan nu användas för att läsa CDC-utdata (Change Data Capture) via DataFrame-API:et.
• När en DataFrame-kolumn refereras från fel DataFrame namnger felet nu den specifika kolumnen. Du kan också ställa in spark.sql.columnResolution.strict så att Spark framtvingar striktare kolumnmatchning och fångar upp dessa misstag tidigare.
• MERGE INTO schemautveckling fungerar nu korrekt när instruktionen innehåller WHEN MATCHED THEN DELETE eller refererar till kapslade kolumner efter alias. Tidigare kunde dessa kombinationer misslyckas eller ge felaktiga resultat.
• SHOW COLLATIONS visar en lista över alla sorteringar som stöds och deras egenskaper, vilket är användbart när du väljer en sortering för textsortering eller jämförelse.
• Sparks frågeoptimerare uppskattar nu korrekt hur mycket datafilter som kommer att minska. Felaktiga uppskattningar tidigare gjorde att Spark drog in stora tabeller helt i minnet under kopplingar, vilket ledde till minnesfel.
• Frågor med flera COUNT(DISTINCT) uttryck körs snabbare eftersom Spark nu minskar data tidigare i körningsplanen i stället för att expandera dem först.
• Python UDF:er som använder piloptimeringen utför inte längre en onödig dataformatkonvertering, vilket minskar kostnaderna.
• Stream-stream icke-yttre kopplingar kan nu generera utdata i uppdateringsläge, inte bara tilläggsläge, vilket gör att de kan skriva till fler utdatamål.
• JDBC-anslutningar stängs nu korrekt när en aktivitet avbryts. Tidigare kunde en avbrytning lämna en anslutning öppen, vilket kunde göra att senare processer fastnade.
• array_insert ger inte längre fel resultat när det ges ett mycket stort negativt tal som infogningsposition.

Databricks Runtime 18: 4 maj 2026

Beteendeändringar

Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.

• XPath: När du utvärderar XPath via XML läser Azure Databricks inte längre in externa dokumenttypsdefinitioner (DTD). Frågor som tidigare bara misslyckades på grund av en extern DTD-referens som inte kan nås kan nu lyckas.
• Beteende för NULL-strukturer med schemautveckling: För INSERT, MERGE, och strömmande skrivningar som använder schemautveckling lagras nu en NULL-struktur i källan som NULL i målet. Tidigare materialiserades NULL-structar felaktigt som icke-NULL-structar där varje fält var satt till NULL. Uppdatera all kod som förlitade sig på att få en icke-null-struktur med enbart NULL-fält – dessa fall returnerar nu en NULL-struktur.
• NATURAL JOIN: Använder nu korrekt skiftlägesokänslig kolumnmatchning när spark.sql.caseSensitive är false (standard). Tidigare identifierades inte kolumner som endast skilde sig i fråga om versaler och gemener (till exempel ID jämfört med id) som matchande, vilket gjorde att NATURAL JOIN tyst gav resultat från en cross join. Den här korrigeringen anpassar NATURAL JOIN-beteende till USING joins.
• AWS SDK v1-beroenden: Paketeras nu om och är inte längre direkt tillgängliga på klasspathen. Om koden är beroende av AWS SDK v1-bibliotek som tidigare tillhandahölls av Databricks Runtime lägger du till dem som explicita beroenden i projektet.
• SQL UDF-beroendevalidering i Unity Catalog: Unity Catalog tillämpar nu beroendeverifiering för SQL-användardefinierade funktioner för att förhindra förbikoppling av åtkomstkontroll. SQL-UDF:er med ogiltiga beroendekonfigurationer blockeras från körning.
• LEFT OUTER JOIN LATERAL: En bugg som felaktigt tog bort rader har åtgärdats. Frågor som använder den här konstruktionen returnerar nu rätt resultat. Om du tillfälligt vill återgå till det tidigare beteendet anger du spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic till true.
• regr_r2: Behandlar nu den första parametern korrekt som den beroende variabeln. Frågor som förlitade sig på det tidigare felaktiga beteendet returnerar olika resultat.
• Hyperboliska funktioner: sinh, cosh, tanhoch relaterade hyperboliska funktioner returnerar Infinity nu i stället för att utlösa ett spillfel när de ges mycket stora indata.
• asinh och acosh: Använder nu fdlibm-algoritmen för konsekvens mellan olika motorer. Resultaten kan skilja sig något från tidigare versioner för kantfallsindata.
• LIKE mönstermatchning: Hanterar nu unicode-tilläggstecken korrekt (kodpunkter ovanför U+FFFF). Mönster som tidigare matchade eller misslyckades felaktigt för dessa tecken returnerar nu rätt resultat.
• VOID (NullType) kolumner: Deltatabeller stöder VOID nu (NullType) kolumner. VOID kolumner tas inte längre bort från tabellschemat vid läsningar. Skrivningar påverkas inte.

Nya funktioner och förbättringar

Följande funktioner och förbättringar är tillgängliga i den här versionen.

• CREATE OR REPLACE TEMP TABLE: Stöds nu, så att du kan skapa eller ersätta temporära tabeller i en enda instruktion.
• agg(): Nu tillgängligt som ett alias för measure() funktionen. Befintliga frågor som använder measure() fortsätter att fungera utan ändringar.
• pyspark.pipelines.testing: Nu tillgängligt som ett bekvämlighetsalias för dlt.testing API:er.
• Prestanda för automatisk inläsning: Automatisk inläsning använder nu en effektivare listningsmetod som förbättrar listhastigheten för molnlagringskällor. Om dina strömutlösare överlappar på grund av långvariga listningsoperationer kan den här optimeringen leda till ökade kostnader för molnlistnings-API.
• DESCRIBE HISTORY skrivalternativflaggor: Deltatabellhistorik (DESCRIBE HISTORY) innehåller nu skrivalternativflaggor i operationParameters för WRITE och REPLACE TABLE åtgärder. Flaggor visas bara när true: isDynamicPartitionOverwrite, canOverwriteSchema, canMergeSchema, predicateoch isV1WriterSaveAsTableOverwrite.
• Strukturerad direktuppspelning spolar tillbaka och spelas upp igen: Strukturerad direktuppspelning stöder nu återspolning och återuppspelning, vilket gör att ombearbetning från en tidigare tidpunkt i dataströmmen kan återställas från fel, till exempel schemaändringar eller logikfel, utan en fullständig tillståndsåterställning.
• SparkSession.emptyDataFrame: Nu tillgängligt som ett bekvämlighets-API för att skapa ett tomt DataFrame utan kolumner och inga rader.
• TIMESTAMP WITH LOCAL TIME ZONE: Stöds nu som ett SQL-syntaxalias för TIMESTAMP_LTZ typen.
• to_json sortKeys alternativ: Funktionen to_json accepterar nu ett sortKeys alternativ för att skapa JSON-utdata med nycklar i sorterad ordning.
• spark.catalog.*: API-metoder har nu funktionsparitet med motsvarande DDL-kommandon för katalog-, schema- och tabellåtgärder.
• [Säkerhetskorrigering] Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 18: 20 april 2026

• Har korrigerat auktoriteten för CRS-rumsreferensen för GEOMETRY(102100)-typen. Auktoriteten rapporteras nu som ESRI:102100 i stället för EPSG:102100.
• [Säkerhetskorrigering] Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 18: 2 april 2026

• Förbättrad felhantering för frågor som skriver data till Delta-tabeller som innehåller en VOID (NullType) kolumn i en användardefinierad typ (UDT).
• JDBC-anslutningar för strömningsmottagare tillämpar nu en sockettimeout på 30 sekunder, återförsökslogik med exponentiell backoff för tillfälliga fel (anslutningsfel, dödlägen, hastighetsbegränsning) samt kontrollerad återställning vid brutna anslutningar.
• Åtgärdade korruption av SQL-text som uppstod vid användning av Unicode-tecken i parametriserade frågor.
• SHOW CREATE TABLE producerar nu korrekt utdata för tabeller och vyer med en sortering som inte är standard.
• [Säkerhetskorrigering] Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 18: 11 mars 2026

Beteendeändringar

Granska följande ändringar, som träder i kraft när kluster startas om med den här runtimeversionen.

• Observationsmåttfel: Orsakar inte längre frågekörningsfel. Tidigare kunde fel i OBSERVE satser (till exempel division med noll) blockera eller misslyckas med hela frågan. Nu slutförs frågan framgångsrikt och ett fel utlöses när du anropar observation.get.
• FILTER klausul för MEASURE: MEASURE-aggregeringsfunktioner har nu stöd för FILTER-klausuler. Tidigare ignorerades filter tyst.
• DESCRIBE FLOW: Kommandot DESCRIBE FLOW är nu tillgängligt. Om du har en tabell med namnet flowanvänder du DESCRIBE schema.flow, DESCRIBE TABLE floweller DESCRIBE `flow` med backticks.
• SpatialSQL Booleska mängdoperationer: ST_Difference, ST_Intersection, och ST_Union använder en ny implementering med följande förbättringar:
  • Giltiga indatageometrier ger alltid ett resultat och skapar inte längre fel.
  • Ungefär 2x snabbare prestanda.
  • Resultaten normaliseras för konsekventa, jämförbara utdata.
• Undantagstyper för SQLSTATE: Undantagstyper uppdateras för att stödja SQLSTATE. Om koden parsar undantag efter strängmatchning eller fångar specifika undantagstyper uppdaterar du logiken för felhantering.
• Automatisk breddning av strömningstyp: Direktuppspelningsläsningar på Delta-tabeller hanterar automatiskt kolumntypsbreddning. Om du vill kräva manuell bekräftelse anger du spark.databricks.delta.typeWidening.enableStreamingSchemaTracking till true.

Nya funktioner och förbättringar

Följande funktioner och förbättringar är tillgängliga i den här versionen.

• Filhändelser för automatisk inläsning som standard: Automatisk inläsning använder som standard filhändelser vid inläsning från en extern plats med filhändelser aktiverade, vilket minskar liståtgärder och kostnader jämfört med kataloglistor. Se Översikt över automatisk inläsning med filhändelser. Om du vill använda kataloglistan i stället anger du useManagedFileEvents till false.

• Schemautveckling med INSERT: Använd WITH SCHEMA EVOLUTION -satsen med SQL-instruktioner INSERT för att automatiskt utveckla måltabellens schema under infogningsåtgärder. Stöds för INSERT INTO, INSERT OVERWRITEoch INSERT INTO ... REPLACE. Ett exempel:

  INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
  

• Deltadelning av transaktioner med flera instruktioner: Deltadelningstabeller som använder försignerade URL- eller molntokendelningslägen stöder transaktioner med flera instruktioner. Vid första åtkomsten i en transaktion fästs och återanvänds tabellversionen för alla efterföljande läsningar i transaktionen.

• parse_timestamp: Funktionen parse_timestamp SQL parsar tidsstämpelsträngar med hjälp av flera mönster, med photonmotorstöd för bättre prestanda.

• max_by och min_by med valfritt limit: Aggregatfunktionerna max_by och min_by accepterar nu ett valfritt tredje argument limit (upp till 100 000). När de tillhandahålls returnerar funktionerna en matris med upp till limit värden, vilket förenklar top-K- och bottom-K-frågor utan fönsterfunktioner eller CTE:er.

• DATETIMEOFFSET för Azure Synapse: Datatypen DATETIMEOFFSET stöds för Microsoft Azure Synapse-anslutningar.

• Google BigQuery tabellkommentarer: Google BigQuery tabellbeskrivningar lösas upp och exponeras som tabellkommentarer.

• IGNORE NULLS / RESPECT NULLS för array_agg och collect_list: Aggregeringsfunktionerna array_agg och collect_list har nu stöd för IGNORE NULLS- och RESPECT NULLS-satser.

• PIVOT alias: PIVOT Satsen stöder nu alias, så att du kan byta namn på pivotkolumnuttryck i utdata.

• SQL-skriptvariablerCURSOR: SQL-skript stöder CURSOR nu variabler för iterering över en frågeresultatuppsättning rad för rad inom ett skriptblock.

• Aggregeringsfunktioner för vektormat: Nya matematiska vektorfunktioner är tillgängliga: vector_avg, vector_sum, vector_norm och vector_normalize. Dessa funktioner fungerar på kompakta vektorkolumner och stöder ML-arbetsbelastningar.

• Trigger.AvailableNow i strömmande läsare för Python-datakällor: Strömmande läsare för Python-datakällor stöder nu Trigger.AvailableNow och Admission Control, vilket möjliggör engångsbatchbearbetning av alla tillgängliga data.

• API för ompartition av tillstånd i PySpark: API:et för tillståndspartition för TransformWithState strömningsoperatorer är nu tillgängligt i PySpark, förutom Scala. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor.

• applyInPandas prestandakorrigering: En 3x prestandaregression i applyInPandas för stora grupper har lösts.

Databricks Runtime 18: 10 mars 2026

• Felmeddelanden för skalära underfrågor som används med EXEC IMMEDIATE identifierar nu den specifika orsaken tydligare.
• Ett kapplöpningstillstånd har åtgärdats i loggkomprimering av kontrollpunkter för strömning som kunde orsaka icke-deterministiskt beteende i Structured Streaming-frågor.
• [Säkerhetskorrigering] Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 18: 26 februari 2026

• SET METADATA ON COLUMN och UNSET METADATA ON COLUMN SQL-kommandon är nu tillgängliga för hantering av semantiska metadata i Tabellkolumner i Unity Catalog. Använd SET METADATA ON COLUMN för att koppla egenskaper (display_name, formatoch synonyms) till kolumner. Använd UNSET METADATA ON COLUMN för att ta bort tidigare angivna metadataegenskaper.
• DESCRIBE TABLE innehåller nu en metadata kolumn som visar semantiska metadata på kolumnnivå som en JSON-sträng.
• Ett PySpark-importfel har åtgärdats i Windows miljöer som orsakats av en saknad UnixStreamServer.
• [Säkerhetskorrigering] Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 18: 19 februari 2026

• När du härleder schemat för Excel filer härleds nu strängceller som Spark StringType, med respekt för celltypen som anges i Excel. Tidigare var strängar med numeriska värden automatiskt gjutna till smalare typer som Long eller Decimal. Uppdatera kod som förlitade sig på det tidigare beteendet.
• DataFrame.toJSON() är nu tillgänglig i Python Spark Connect-klienten.
• [Säkerhetskorrigering] Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 18: 27 januari 2026

• Automatisk inläsning rapporterar nu batchSizeNumFiles, batchSizeNumBytes och filbearbetningstillstånd (numFilesProcessed, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) som mätvärden.
• INSERT INTO ... BY NAME stöder nu REPLACE WHERE-satsen.
• Konfigurationsegenskapen spark.sql.xml.legacyXMLParser.enabled har bytt namn till spark.sql.legacy.useLegacyXMLParser. Uppdatera alla kluster- eller sessionskonfigurationer som använder det gamla namnet.
• När spark.task.resource.gpu.amount är större än 1 startar Torch Distributor nu en torchrun process per GPU i stället för per aktivitet.
• [Säkerhetskorrigering] Säkerhetsuppdateringar för operativsystem.

Databricks Runtime 18: 15 januari 2026

Databricks Runtime 18 är nu under funktionsutveckling, som drivs av Apache Spark 4.1.0. Den här versionen innehåller alla funktioner, förbättringar och felkorrigeringar från alla tidigare Databricks Runtime-versioner.

Beteendeändringar

Granska följande ändringar, som börjar gälla när klustren startas om i den här körningsmiljön.

• JDK 21: Databricks Runtime 18 använder JDK 21 som standard Java Development Kit. JDK 21 är allmänt tillgängligt och är en långsiktig supportversion (LTS). Tidigare var standardvärdet JDK 17. Anmärkningsvärda ändringar:

  • Double.toString() och Float.toString() producerar nu kortaste unika strängrepresentationer, som kan skilja sig från JDK 17-utdata i vissa kantfall.
  • Thread.stop(), Thread.suspend() och Thread.resume() kastar nu UnsupportedOperationException.
  • Uppdaterade språkdata (CLDR v42) kan påverka datum, tid och talformatering.

  Om du stöter på kompatibilitetsproblem återgår du till JDK 17. Information om hur du konfigurerar JDK-versioner finns i Skapa ett kluster med en specifik JDK-version.

• FSCK REPAIR TABLE: Innehåller nu ett inledande reparationssteg för metadata innan kontroll av saknade datafiler. Kommandot fungerar på tabeller med skadade kontrollpunkter eller ogiltiga partitionsvärden.

• Nullbarhet för Spark Connect Scala: Nullbarheten för matris- och karttyper bevaras nu för skrivna literaler i Spark Connect Scala-klienten. Tidigare var element i matriser och värden för kartor alltid nullbara.

• FSCK REPAIR TABLE DRY RUN: Kolumnen dataFilePath i utdataschemat FSCK REPAIR TABLE DRY RUN är nu nullbar för att stödja rapportering av nya problemtyper där datafilsökvägen inte är relevant.

• SHOW TABLES DROPPED: Tar nu korrekt hänsyn till LIMIT-villkoret.

• Python UDF-körning: Unity Catalog Python UDF:er använder nu Apache Arrow som standardformat för utbyte, vilket förbättrar den övergripande prestandan. Som en del av den här ändringen TIMESTAMP innehåller värden som skickas till Python-UDF:er inte längre tidszonsinformation i datetime objektets tzinfo attribut. Själva tidsstämpelvärdena finns kvar i UTC, men tidszonsmetadata tas nu bort. Om din UDF förlitar sig på tidszonsinformationen återställer du den med date = date.replace(tzinfo=timezone.utc). Mer information finns i Timetamp tidszonsbeteende för indata.

• Tidsresor och VACUUM lagringstid: Azure Databricks blockerar nu frågor om tidsresor som överskrider tröskelvärdet deletedFileRetentionDuration för alla tabeller. Kommandot VACUUM ignorerar argumentet kvarhållningstid förutom när värdet är 0 timmar. Du kan inte ange deletedFileRetentionDuration större än logRetentionDuration eller vice versa.

• BinaryType i PySpark: I PySpark mappar BinaryType nu konsekvent till Python bytes. Tidigare mappades PySpark BinaryType till antingen bytes eller bytearray beroende på kontexten. Om du vill återställa det gamla beteendet anger du spark.sql.execution.pyspark.binaryAsBytes till false.

• NULL-strukturer i Delta MERGE och UPDATE: Bevaras nu som NULL i Delta MERGE, UPDATE och strömningsskrivningar som innehåller typomvandlingar till struct-typ. Tidigare expanderades NULL structs till structar med NULL-fält.

• Materialisering av partitionskolumner: Partitionerade Delta-tabeller materialiserar nu partitionskolumner i nyligen skrivna Parquet-datafiler. Tidigare lagrades partitionsvärden i Delta-transaktionsloggens metadata och återspeglades i katalogsökvägar, men skrevs inte som kolumner i själva Parquet-filerna. Den här ändringen överensstämmer med Apache Icebergs och UniForms beteende och kan påverka arbetsbelastningar som läser Parquet-filer som skrivits av Delta Lake direkt.

• Tidszon för tidsstämpelpartition: Tidsstämpelpartitionsvärden konverterades tidigare till UTC med hjälp av JVM-tidszonen i stället för konfigurationen spark.sql.session.timeZone . Tidsstämpelpartitionsvärden justeras nu korrekt med hjälp av tidszonsinställningen för Spark-sessionen.

• DESCRIBE TABLE metadatakolumn: Utdata från DESCRIBE TABLE [EXTENDED] innehåller nu en ny metadatakolumn för alla tabelltyper. Den här kolumnen innehåller semantiska metadata (visningsnamn, format och synonymer) som definierats i tabellen som en JSON-sträng.

Nya funktioner och förbättringar

Följande funktioner och förbättringar är tillgängliga i den här versionen.

• SQL-skript: Sql-skriptfunktionen är nu allmänt tillgänglig.
• Delad isolering för Unity Catalog Python UDF:er: Unity Catalog Python UDF:er med samma ägare kan nu dela en isoleringsmiljö som standard. Detta förbättrar prestanda och minskar minnesanvändningen genom att minska antalet separata miljöer som startas. Lägg till STRICT ISOLATION egenskapssatsen för att säkerställa att en UDF alltid körs i en helt isolerad miljö. Se Miljöisolering.
• SQL-fönsterfunktioner i måttvyer: Du kan nu använda SQL-fönsterfunktioner i måttvyer för att beräkna löpande summor, rangordningar och andra fönsterbaserade beräkningar.
• Dynamiska shuffle-partitioner i tillståndslös direktuppspelning: Du kan nu ändra antalet shuffle-partitioner i tillståndslösa strömningsfrågor utan att starta om frågan.
• AQE och AOS i tillståndslös strömning: Adaptive Query Execution (AQE) och autooptimerad shuffle (AOS) stöds nu i tillståndslösa strömningsfrågor.
• Parametermarkörer: Du kan nu använda parametermarkörer med namnet (:param) och namnlösa (?) i stort sett var som helst där ett literalvärde av lämplig typ kan användas. Detta inkluderar DDL-instruktioner som CREATE VIEW v AS SELECT ? AS c1, kolumntyper DECIMAL(:p, :s)eller COMMENT ON t IS :comment. Mer information finns i Parametermarkörer .
• IDENTIFIER sats: Räckvidden för IDENTIFIER satsen, som omvandlar strängar till SQL-objektnamn, har utökats till nästan överallt där en identifierare tillåts. Mer information finns i IDENTIFIER-satsen.
• BITMAP_AND_AGG: Det befintliga funktionsbiblioteket BITMAP innehåller nu en ny BITMAP_AND_AGG funktion.
• Theta-skissfunktioner: Du kan nu använda ett nytt bibliotek med funktioner för ungefärligt distinkt antal och ange åtgärder med hjälp av Datasketches Theta Sketch. Se theta_sketch_agg och relaterade funktioner.
• KLL-skissfunktioner: Du kan nu använda ett nytt bibliotek med funktioner för ungefärlig kvantilberäkning med hjälp av KLL-skisser. Se kll_sketch_agg_bigint och relaterade funktioner.
• Nya geospatiala funktioner: st_azimuth, st_boundary, st_closestpoint och st_geogfromewkt är nu tillgängliga.
• GeometryType och GeographyType: Apache Spark stöder nu interna GeometryType och GeographyType datatyper i PySpark och Java API:er. De här typerna stöder arrow-serialisering och Parquet-läsning och -skrivning och skiljer sig från SQL-geospatiala funktioner.
• approx_top_k: Den nya approx_top_k mängdfunktionen returnerar de ungefärliga top-K vanligaste värdena i en kolumn med hjälp av en utrymmeseffektiv skissalgoritm.
• Spark Connect JDBC-drivrutin: Apache Spark innehåller nu en JDBC-drivrutin för Spark Connect, vilket gör att JDBC-baserade klienter och verktyg kan ansluta till Spark via Spark Connect-protokollet.
• Iterator[pandas.DataFrame] i applyInPandas: DataFrame.applyInPandas accepterar nu en funktion med en Iterator[pandas.DataFrame] signatur, vilket minskar kostnaderna vid bearbetning av stora grupper genom att strömma data i batchar.
• Kontrollera begränsningar: Stöder nu null-värdejämförelser i villkorsuttrycket.
• Tillståndspartitions-API för TransformWithState: Ett nytt tillståndspartitions-API är tillgängligt för TransformWithState strömningsoperatorer i Scala, så att du kan ändra nyckelpartitioneringen av tillståndskänsliga data mellan omstarter av frågor. Se Ompartitionering av tillstånd på begäran för tillståndskänsliga strömningsfrågor.
• Python 3.14 i pyspark-connect: pyspark-client och pyspark-connect stöder nu Python 3.14.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:

  • anyio från 4.6.2 till 4.7.0
  • asttokens från 2.0.5 till 3.0.0
  • azure-core från 1.34.0 till 1.37.0
  • azure-mgmt-core från 1.5.0 till 1.6.0
  • azure-storage-blob från 12.23.0 till 12.28.0
  • azure-storage-file-datalake från 12.17.0 till 12.22.0
  • boto3 från 1.36.2 till 1.40.45
  • botocore från 1.36.3 till 1.40.45
  • certifi från 2025.1.31 till 2025.4.26
  • klicka från 8.1.7 till 8.1.8
  • kryptografi från 43.0.3 till 44.0.1
  • Cython från 3.0.12 till 3.1.5
  • databricks-sdk från 0.49.0 till 0.67.0
  • Inaktuell från 1.2.13 till 1.2.18
  • körs från 0.8.3 till 1.2.0
  • fastapi från 0,115,12 till 0,128,0
  • filelock från 3.18.0 till 3.17.0
  • google-api-core från 2.20.0 till 2.28.1
  • google-auth från 2.40.0 till 2.47.0
  • google-cloud-core från 2.4.3 till 2.5.0
  • google-cloud-storage från 3.1.0 till 3.7.0
  • google-crc32c från 1.7.1 till 1.8.0
  • google-resumable-media från 2.7.2 till 2.8.0
  • h11 från 0.14.0 till 0.16.0
  • httpcore från 1.0.2 till 1.0.9
  • httpx från 0.27.0 till 0.28.1
  • isodate från 0.6.1 till 0.7.2
  • Jinja2 från 3.1.5 till 3.1.6
  • jupyter-events från 0.10.0 till 0.12.0
  • jupyter-lsp från 2.2.0 till 2.2.5
  • jupyter_server från 2.14.1 till 2.15.0
  • jupyter_server_terminals från 0.4.4 till 0.5.3
  • mistune från 2.0.4 till 3.1.2
  • mlflow-skinny från 3.0.1 till 3.8.1
  • mmh3 från 5.1.0 till 5.2.0
  • msal från 1.32.3 till 1.34.0
  • nbclient från 0.8.0 till 0.10.2
  • nbconvert från 7.16.4 till 7.16.6
  • nodeenv från 1.9.1 till 1.10.0
  • notebook_shim från 0.2.3 till 0.2.4
  • opentelemetry-api från 1.32.1 till 1.39.1
  • opentelemetry-sdk från 1.32.1 till 1.39.1
  • opentelemetry-semantic-conventions från 0.53b1 till 0.60b1
  • platformdirs från 3.10.0 till 4.3.7
  • prometheus_client från 0.21.0 till 0.21.1
  • proto-plus från 1.26.1 till 1.27.0
  • psycopg2 från 2.9.3 till 2.9.11
  • pyarrow från 19.0.1 till 21.0.0
  • Pygments från 2.15.1 till 2.19.1
  • pyiceberg från 0.9.0 till 0.10.0
  • python-lsp-server från 1.12.0 till 1.12.2
  • rep från 1.12.0 till 1.13.0
  • s3transfer från 0.11.3 till 0.14.0
  • scipy från 1.15.1 till 1.15.3
  • setuptools från 74.0.0 till 78.1.1
  • sex från 1.16.0 till 1.17.0
  • sqlparse från 0.5.3 till 0.5.5
  • stack-data från 0.2.0 till 0.6.3
  • starlette från 0.46.2 till 0.50.0
  • tornado från 6.4.2 till 6.5.1
  • types-python-dateutil från 2.9.0.20241206 till 2.9.0.20251115
  • uvicorn från 0.34.2 till 0.40.0
  • webcolors från 24.11.1 till 25.10.0

• Uppgraderade R-bibliotek:

  • pil från 19.0.1 till 22.0.0
  • bas från 4.4.2 till 4.5.1
  • bigD från 0.3.0 till 0.3.1
  • broom från 1.0.7 till 1.0.10
  • klockan från 0.7.2 till 0.7.3
  • commonmark från 1.9.5 till 2.0.0
  • kompilator från 4.4.2 till 4.5.1
  • autentiseringsuppgifter från 2.0.2 till 2.0.3
  • curl från 6.4.0 till 7.0.0
  • data.table från 1.17.0 till 1.17.8
  • datauppsättningar från 4.4.2 till 4.5.1
  • dbplyr från 2.5.0 till 2.5.1
  • devtools från 2.4.5 till 2.4.6
  • diffobj från 0.3.5 till 0.3.6
  • sammanfatta från 0.6.37 till 0.6.39
  • nedbelyst från 0.4.4 till 0.4.5
  • dtplyr från 1.3.1 till 1.3.2
  • utvärdera version från 1.0.3 till 1.0.5
  • fansi från 1.0.6 till 1.0.7
  • forcats från 1.0.0 till 1.0.1
  • fs från 1.6.5 till 1.6.6
  • från 1.34.0 till 1.68.0
  • future.apply från 1.11.3 till 1.20.0
  • gargle från 1.5.2 till 1.6.0
  • gert från 2.1.4 till 2.2.0
  • ggplot2 från 3.5.1 till 4.0.1
  • gh från 1.4.1 till 1.5.0
  • git2r från 0.35.0 till 0.36.2
  • glmnet från 4.1-8 till 4.1-10
  • googledrive från 2.1.1 till 2.1.2
  • googlesheets4 från 1.1.1 till 1.1.2
  • grafik från 4.4.2 till 4.5.1
  • grEnheter från 4.4.2 till 4.5.1
  • rutnät från 4.4.2 till 4.5.1
  • gt från 0.11.1 till 1.1.0
  • hardhat från 1.4.1 till 1.4.2
  • haven från 2.5.4 till 2.5.5
  • hms från 1.1.3 till 1.1.4
  • httpuv från 1.6.15 till 1.6.16
  • httr2 från 1.1.1 till 1.2.1
  • jsonlite från 1.9.1 till 2.0.0
  • senare från 1.4.1 till 1.4.4
  • lava från 1.8.1 till 1.8.2
  • listenv från 0.9.1 till 0.10.0
  • magrittr från 2.0.3 till 2.0.4
  • markdown från 1.13 till 2.0
  • metoder från 4.4.2 till 4.5.1
  • miniUI från 0.1.1.1 till 0.1.2
  • mlflow från 2.20.4 till 3.6.0
  • openssl från 2.3.3 till 2.3.4
  • parallell från 4.4.2 till 4.5.1
  • parallellt från 1.42.0 till 1.45.1
  • pelare från 1.11.0 till 1.11.1
  • pkgbuild från 1.4.6 till 1.4.8
  • pkgdown från 2.1.1 till 2.2.0
  • pkgload från 1.4.0 till 1.4.1
  • pROC från 1,18,5 till 1,19,0,1
  • prodlim från 2024.06.25 till 2025.04.28
  • progressr från 0.15.1 till 0.18.0
  • löften från 1.3.2 till 1.5.0
  • ps från 1.9.0 till 1.9.1
  • purrr från 1.0.4 till 1.2.0
  • ragg från 1.3.3 till 1.5.0
  • Rcpp från 1.0.14 till 1.1.0
  • readr från 2.1.5 till 2.1.6
  • recept från 1.2.0 till 1.3.1
  • omforma2 från 1.4.4 till 1.4.5
  • rmarkdown från 2.29 till 2.30
  • roxygen2 från 7.3.2 till 7.3.3
  • rprojroot från 2.0.4 till 2.1.1
  • RSQLite från 2.3.9 till 2.4.4
  • rversioner från 2.1.2 till 3.0.0
  • rvest från 1.0.4 till 1.0.5
  • sass från 0.4.9 till 0.4.10
  • skalar från 1.3.0 till 1.4.0
  • glänsande från 1.10.0 till 1.11.1
  • sparklyr uppdateras från 1.9.1 till 1.9.3
  • SparkR från 4.0.0 till 4.1.0
  • sparsevctrs från 0.3.1 till 0.3.4
  • splines från 4.4.2 till 4.5.1
  • statistik från 4.4.2 till 4.5.1
  • stats4 från 4.4.2 till 4.5.1
  • stringr från 1.5.1 till 1.6.0
  • systemfonts från 1.2.1 till 1.3.1
  • tcltk från 4.4.2 till 4.5.1
  • testthat från 3.2.3 till 3.3.0
  • textshaping från 1.0.0 till 1.0.4
  • timeDate från 4041.110 till 4051.111
  • tinytex från 0,56 till 0,58
  • verktyg från 4.4.2 till 4.5.1
  • usethis från 3.1.0 till 3.2.1
  • "utils från 4.4.2 till 4.5.1"
  • V8 från 6.0.2 till 8.0.1
  • vroom från 1.6.5 till 1.6.6
  • waldo från 0.6.1 till 0.6.2
  • xfun från 0,51 till 0,54
  • xml2 från 1.3.8 till 1.5.0
  • zeallot från 0.1.0 till 0.2.0
  • zip från 2.3.2 till 2.3.3

• Uppgraderade Java-bibliotek:

  • com.amazonaws.amazon-kinesis-client från 1.12.0 till 1.15.3
  • com.amazonaws.aws-java-sdk-autoscaling från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-cloudformation från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-cloudfront från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-cloudhsm från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-cloudsearch från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-cloudtrail från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatch från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-codedeploy från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-cognitoidentity från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-cognitosync från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-config från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-core från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-datapipeline från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-directconnect från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-directory från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-dynamodb från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-ec2 från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-ecs från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-efs från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-elasticache från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-elasticbeanstalk från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-elasticloadbalancing från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-elastictranscoder från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-emr från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-glacier från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-glue från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-iam från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-importexport från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-kinesis från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-kms från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-lambda från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-logs från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-machinelearning från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-opsworks från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-rds från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-redshift från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-route53 från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-s3 från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-ses från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-simpledb från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-simpleworkflow från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-sns från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-sqs från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-ssm från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-storagegateway från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-sts från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-support från 1.12.638 till 1.12.681
  • com.amazonaws.aws-java-sdk-workspaces från 1.12.638 till 1.12.681
  • com.amazonaws.jmespath-java från 1.12.638 till 1.12.681
  • com.databricks.databricks-sdk-java från 0.27.0 till 0.53.0
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 från 2.18.2 till 2.18.3
  • com.github.luben.zstd-jni från 1.5.6-10 till 1.5.7-6
  • com.google.flatbuffers.flatbuffers-java från 24.3.25 till 25.2.10
  • com.google.guava.failureaccess från 1.0.2 till 1.0.3
  • com.google.guava.guava från 33.4.0-jre till 33.4.8-jre
  • com.microsoft.sqlserver.mssql-jdbc från 11.2.3.jre8 till 12.8.0.jre8
  • commons-cli.commons-cli från 1.9.0 till 1.10.0
  • commons-codec.commons-codec från 1.17.2 till 1.19.0
  • commons-fileupload.commons-fileupload från version 1.5 till version 1.6.0
  • commons-io.commons-io från 2.18.0 till 2.21.0
  • dev.ludovic.netlib.arpack från 3.0.3 till 3.0.4
  • dev.ludovic.netlib.blas från 3.0.3 till 3.0.4
  • dev.ludovic.netlib.lapack från 3.0.3 till 3.0.4
  • io.dropwizard.metrics.metrics-annotation från 4.2.30 till 4.2.37
  • io.dropwizard.metrics.metrics-core från 4.2.30 till 4.2.37
  • io.dropwizard.metrics.metrics-graphite från 4.2.30 till 4.2.37
  • io.dropwizard.metrics.metrics-healthchecks från 4.2.30 till 4.2.37
  • io.dropwizard.metrics.metrics-jmx från 4.2.30 till 4.2.37
  • Uppdatering av io.dropwizard.metrics.metrics-json från version 4.2.30 till 4.2.37
  • io.dropwizard.metrics.metrics-jvm från 4.2.30 till 4.2.37
  • io.dropwizard.metrics.metrics-servlets från 4.2.30 till 4.2.37
  • io.delta.delta-sharing-client_2.13 från 1.3.10 till 1.3.11
  • io.netty.netty-all från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-buffert från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-codec från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-codec-http från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-codec-http2 från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-codec-socks från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-common från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-handler från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-handler-proxy från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-resolver från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-tcnative-boringssl-static från 2.0.70.Final-db-r0-windows-x86_64 till 2.0.74.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes från 2.0.70.Final till 2.0.74.Final
  • io.netty.netty-transport från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-transport-classes-epoll från 4.1.118.Final till 4.2.7.Final
  • io.netty.netty-transport-classes-kqueue från 4.1.118.Final till 4.2.7.Final
  • Uppdatera io.netty.netty-transport-native-epoll från 4.1.118.Final-linux-x86_64 till 4.2.7.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue från 4.1.118.Final-osx-x86_64 till 4.2.7.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common från 4.1.118.Final till 4.2.7.Final
  • joda-time.joda-time från 2.13.0 till 2.14.0
  • org.apache.arrow.arrow-format från 18.2.0 till 18.3.0
  • org.apache.arrow.arrow-memory-core från 18.2.0 till 18.3.0
  • org.apache.arrow.arrow-memory-netty från 18.2.0 till 18.3.0
  • org.apache.arrow.arrow-memory-netty-buffer-patch från 18.2.0 till 18.3.0
  • org.apache.arrow.arrow-vector från 18.2.0 till 18.3.0
  • org.apache.avro.avro från 1.12.0 till 1.12.1
  • org.apache.avro.avro-ipc från 1.12.0 till 1.12.1
  • org.apache.avro.avro-mapred från 1.12.0 till 1.12.1
  • org.apache.commons.commons-collections4 från 4.4 till 4.5.0
  • org.apache.commons.commons-compress från 1.27.1 till 1.28.0
  • org.apache.commons.commons-lang3 från 3.17.0 till 3.19.0
  • org.apache.commons.commons-text från 1.13.0 till 1.14.0
  • org.apache.curator.curator-client från 5.7.1 till 5.9.0
  • org.apache.curator.curator-framework från 5.7.1 till 5.9.0
  • org.apache.curator.curator-recipes från 5.7.1 till 5.9.0
  • org.apache.datasketches.datasketches-java från 6.1.1 till 6.2.0
  • org.apache.hadoop.hadoop-client-runtime från 3.4.1 till 3.4.2
  • org.apache.orc.orc-core från 2.1.1-shaded-protobuf till 2.2.0-shaded-protobuf
  • org.apache.orc.orc-format från 1.1.0-shaded-protobuf till 1.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce från 2.1.1-shaded-protobuf till 2.2.0-shaded-protobuf
  • org.apache.orc.orc-shims från 2.1.1 till 2.2.0
  • org.apache.xbean.xbean-asm9-shaded från 4.26 till 4.28
  • org.apache.zookeeper.zookeeper från 3.9.3 till 3.9.4
  • org.apache.zookeeper.zookeeper-jute från 3.9.3 till 3.9.4
  • org.eclipse.jetty.jetty-client från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-http från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-io från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-jndi från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-plus från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-proxy från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-security från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-server från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-servlet från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-servlets från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-util från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-webapp från 9.4.53.v20231009 till 10.0.26
  • org.eclipse.jetty.jetty-xml från 9.4.53.v20231009 till 10.0.26
  • org.mlflow.mlflow-spark_2.13 från 2.9.1 till 2.22.1
  • org.objenesis.objenesis från 3.3 till 3.4
  • org.scala-lang.modules.scala-xml_2.13 från 2.3.0 till 2.4.0

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

• Operativsystem: Ubuntu 24.04.4 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta lake: 4.2.0

Installerade Python bibliotek

Installerade R-bibliotek

R-bibliotek installeras från CRAN-ögonblicksbilden i Posit Správca balíkov på PACKAGES.

Installerade Java- och Scala-bibliotek (Scala 2.13-klusterversion)