Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
De volgende Databricks SQL-functies en -verbeteringen zijn uitgebracht in 2026.
Mei 2026
Databricks SQL-versie 2026.15 is nu beschikbaar in preview
26 mei 2026
Databricks SQL-versie 2026.15 is nu beschikbaar in het preview-kanaal . Raadpleeg de volgende sectie voor meer informatie over nieuwe functies, gedragswijzigingen en oplossingen voor fouten.
XPath haalt geen externe DTD's meer op
Wanneer u xpath op XML evalueert, laadt Azure Databricks niet langer externe documenttypedefinities (DTD's) die in het document zijn opgegeven. Voorheen kon XPath mislukken wanneer de XML een externe DTD-verwijzing bevatte die verwijst naar een onjuiste URL of een onbereikbaar eindpunt. Omdat DTD-validatie losstaat van XPath-evaluatie, retourneren query's die al dezelfde resultaten hebben geretourneerd als voorheen. Query's die eerder alleen zijn mislukt tijdens het ophalen van externe DTD, kunnen nu slagen.
behoud van NULL-structuren in INSERT, SAMENVOEGEN en streaming-schrijfopdrachten met schema-evolutie
Voor INSERT, MERGE, en streaming-schrijfbewerkingen die gebruikmaken van schema-evolutie, wordt een NULL-struct in de bron nu opgeslagen als NULL in het doel. Voorheen werd die waarde onjuist ontwikkeld als een niet-null structuur, waarbij elk veld op NULL was ingesteld, terwijl dezelfde bewerkingen zonder schema-evolutie NULL-structuren correct behouden bleven. Als uw code afhankelijk was van het ontvangen van een niet-null-struct waarvan de velden allemaal NULL waren, werkt u de code bij om in plaats daarvan een NULL-struct af te handelen.
Ondersteuning voor NullType (VOID) in Delta-tabellen
Delta Lake-tabellen ondersteunen VOID nu kolommen. Voorheen werden VOID-kolommen stilzwijgend overgeslagen bij padgebaseerde DataFrame-leesbewerkingen en time-travelquery’s. Deze queries bevatten nu VOID kolommen in de uitvoer. Schrijfbewerkingen worden niet beïnvloed. Zie VOID het type voor beperkingen voor waar VOID kolommen in het schema kunnen worden weergegeven.
Bekijk alle query's die uit Delta Lake-tabellen met VOID kolommen worden gelezen om te controleren of ze de extra kolommen correct verwerken. Query's die afhankelijk zijn van het aantal kolommen of de positie, zoals INSERT INTO ... SELECT *, kunnen mislukken na de upgrade. In het bijzonder kunnen bepaalde INSERT query's waarvoor schemaontwikkeling is ingeschakeld, gegevens op de achtergrond verplaatsen naar de verkeerde kolommen.
SHOW CREATE TABLE ondersteunt metrische weergaven
SHOW CREATE TABLE ondersteunt nu metrische weergaven. Voorheen heeft het uitvoeren van deze opdracht in een metrische weergave een fout veroorzaakt. De uitvoer voor metrische weergaven bevat de volledig gekwalificeerde driedelige naam met catalogus (bijvoorbeeld CREATE VIEW catalog.db.my_metric_view ...), waardoor het eenvoudiger is om de metrische weergave op de juiste locatie opnieuw te maken.
Oplossing voor LEFT OUTER JOIN LATERAL-neervallende rijen
Er is nu een fout opgelost die ervoor zorgde dat rijen onterecht uit LEFT OUTER JOIN LATERAL-query's werden verwijderd. Query's die deze constructie gebruiken, retourneren nu de juiste resultaten. Als u tijdelijk wilt terugkeren naar het vorige gedrag, stelt u in spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic op true.
NATURAL JOIN respecteert hoofdletterongevoelige kolomtoewijzing
NATURAL JOIN maakt nu correct gebruik van hoofdletterongevoelige kolomkoppeling wanneer spark.sql.caseSensitive is ingesteld op false (de standaardinstelling). Eerder werd NATURAL JOIN gebruikgemaakt van hoofdlettergevoelige vergelijking om veelvoorkomende kolommen te identificeren, waardoor kolommen die alleen verschillen in het geval (bijvoorbeeld ID versus id) niet als overeenkomend worden herkend. Dit zorgde ervoor dat NATURAL JOIN stilzwijgend cross-joinresultaten produceerde. Query's die door deze fout worden beïnvloed, retourneren nu de juiste resultaten met correct gekoppelde kolommen.
Validatie van SQL UDF-afhankelijkheid in Unity Catalog
Unity Catalog dwingt nu afhankelijkheidsvalidatie af voor door de gebruiker gedefinieerde SQL-functies (UDF's) om bypass van toegangsbeheer te voorkomen. Voorheen konden SQL-functies die zijn gemaakt via de REST API verwijzen naar afhankelijkheden waar de gebruiker geen toegang toe had. SQL UDF's met ongeldige afhankelijkheidsconfiguraties worden nu geblokkeerd voor uitvoering.
Geoptimaliseerde schrijfbewerkingen voor gepartitioneerde Unity Catalog-tabellen die zijn gemaakt met CRTAS
Geoptimaliseerde schrijfbewerkingen worden nu correct toegepast op gepartitioneerde Unity Catalog-tabellen die zijn gemaakt met CREATE OR REPLACE TABLE ... AS SELECT (CRTAS). Voorheen past CRTAS op nieuwe gepartitioneerde Unity Catalog-tabellen geen geoptimaliseerde schrijfbewerkingen toe, wat resulteert in een hoger aantal kleine bestanden per partitie. Deze oplossing kan de schrijflatentie verhogen. Als u wilt terugkeren naar het vorige gedrag, stelt u in op spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabledfalse.
Onjuiste EPSG-authoriteit herstellen voor door ESRI gedefinieerde SRID 102100
De Coördinaatreferentiesysteem (CRS)-toewijzing voor SRID 102100 gebruikt nu correct ESRI:102100 in plaats van het onjuiste EPSG:102100. Deze oplossing zorgt ervoor dat georuimtelijke gegevens worden opgeslagen met de juiste autoriteit voor betere interoperabiliteit met andere systemen.
Ondersteuning voor CREATE OR REPLACE bij tijdelijke tabellen
CREATE OR REPLACE TEMP TABLE syntaxis wordt nu ondersteund, zodat u tijdelijke tabellen in één instructie kunt maken of vervangen. Hierdoor hoeft u geen tijdelijke tabellen expliciet te verwijderen en opnieuw te maken.
Delta-tabelgeschiedenis bevat schrijfoptievlaggen
Delta Lake-tabelgeschiedenis (DESCRIBE HISTORY) bevat nu schrijfoptievlagmen in de operationParameters kolom voor WRITE en REPLACE TABLE bewerkingen. Wanneer de volgende opties expliciet zijn ingeschakeld, worden ze weergegeven als Booleaanse vlaggen in de geschiedenis (alleen opgenomen wanneer true):
Voor WRITE en REPLACE TABLE bewerkingen:
-
isDynamicPartitionOverwrite: aanwezig wanneer de overschrijfmodus voor dynamische partities is gebruikt -
canOverwriteSchema: aanwezig wanneer schema overschrijven (overwriteSchema) is ingeschakeld -
canMergeSchema: aanwezig wanneer schemasamenvoeging (mergeSchema) is ingeschakeld
Voor REPLACE TABLE bewerkingen:
-
predicate: aanwezig bijreplaceWheregebruik -
isV1WriterSaveAsTableOverwrite: aanwezig wanneer de vervanging is geactiveerd door een.saveAsTableoverschrijfbewerking
Nieuwe georuimtelijke functies
De volgende georuimtelijke functies zijn nu beschikbaar:
-
st_makepointfunctie: retourneert een puntGEOMETRYmet de opgegeven coördinaten. -
st_makeenvelopefunctie: retourneert eenGEOMETRYwaarde die de as uitgelijnde envelop (begrenzingsvak) vertegenwoordigt die is gedefinieerd door de opgegeven hoekcoördinaten.
Verbeterde ondersteuning voor ruimtelijke deelname
Het ST_DWithin predicaat (afstand binnen) wordt nu ondersteund als een joinvoorwaarde voor ruimtelijke joins. Combinaties van predicaten komen nu in aanmerking voor ruimtelijke joins, bijvoorbeeld condition AND st_predicate.
Systeemeigen gegevensprofilering voor resultatentabellen in de SQL-editor
1 mei 2026
U kunt nu profileringsstatistieken weergeven voor kolommen in resultatentabellen in de nieuwe Databricks SQL-editor. Selecteer kolomkoppen en klik op Open selectiedetails om profileringsstatistieken weer te geven.
April 2026
agg SQL-functie als synoniem voor measure
30 april 2026
De nieuwe aggregate-functie agg is een synoniem voor meting. Gebruik agg(measure_column) als korter alternatief wanneer u query's uitvoert op metingen in een metrische weergave.
Databricks SQL-versie 2026.10 wordt geïmplementeerd in Current
23 april 2026
Databricks SQL versie 2026.10 wordt uitgerold naar het Current-kanaal. Zie functies in 2026.10.
Maart 2026
Databricks SQL-versie 2026.10 is nu beschikbaar in voorbeeldweergave
26 maart 2026
Databricks SQL-versie 2026.10 is nu beschikbaar in het preview-kanaal . Raadpleeg de volgende sectie voor meer informatie over nieuwe functies, gedragswijzigingen en oplossingen voor fouten.
Fouten in observatiemetrieken veroorzaken geen mislukte query's meer
Fouten tijdens het verzamelen van metrische waarnemingen veroorzaken geen fouten meer bij het uitvoeren van query's. Voorheen konden fouten in OBSERVE componenten (zoals delen door nul) de hele query blokkeren of mislukken. De query wordt nu succesvol voltooid en de fout wordt gemeld wanneer u aanroept observation.get.
Geoptimaliseerde schrijfbewerkingen voor CRTAS-bewerkingen in Unity Catalog
MAKEN OF VERVANGEN TABLE AS-bewerkingen SELECT (CRTAS) op gepartitioneerde Unity Catalog-tabellen passen nu standaard geoptimaliseerde schrijfbewerkingen toe, waardoor er minder grotere bestanden worden geproduceerd. Stel spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled in op false om uit te schakelen.
Tijdstempelpartitiewaarden maken gebruik van sessietijdzone
Tijdstempelpartitiewaarden gebruiken nu de tijdzone van de SQL Warehouse-sessie. Als u tijdstempelpartities hebt die zijn geschreven vóór Databricks SQL-versie 2025.40, moet u deze uitvoeren SHOW PARTITIONS om de metagegevens van uw partitie te controleren voordat u nieuwe gegevens schrijft.
Het trefwoord DESCRIBE FLOW is gereserveerd
De DESCRIBE FLOW opdracht is nu beschikbaar. Als u een tabel hebt met de naam flow, gebruik DESCRIBE schema.flow, DESCRIBE TABLE flow of DESCRIBE `flow` met backticks.
Booleaanse setbewerkingen voor SpatialSQL
ST_Differenceen ST_IntersectionST_Union gebruik een nieuwe implementatie met de volgende verbeteringen:
- Geldige invoergeometrieën produceren altijd een resultaat en veroorzaken geen fouten meer. Ongeldige invoer genereert geen fouten, maar levert mogelijk geen geldige resultaten op.
- Ongeveer 2x snellere prestaties.
- De resultaten kunnen verschillen na de 15e decimale plaats voor snijpunten in het lijnsegment vanwege verschillende formules en volgorde van bewerkingen.
- Resultaten worden genormaliseerd voor consistente, vergelijkbare uitvoer:
- Punten worden gesorteerd op coördinatenwaarden.
- Linestrings zijn gebouwd op basis van de langst mogelijke paden.
- Polygoonringen worden gedraaid, zodat het eerste punt de kleinste coördinaatwaarden heeft.
- Deze normalisatie is in alle gevallen van toepassing, behalve bij het aanroepen
ST_Differencemet twee niet-overlappende geometrieën, waarbij de eerste geometrie niet-gewijzigd wordt geretourneerd.
Uitzonderingstypen voor SQLSTATE
Uitzonderingstypen ondersteunen nu SQLSTATE. Als uw code uitzonderingen parseert door middel van tekenreeksvergelijking of specifieke uitzonderingstypen onderschept, werk uw foutafhandelingslogica bij.
Ondersteuning voor het gegevenstype DATETIMEOFFSET voor Microsoft Azure Synapse
Het DATETIMEOFFSET gegevenstype is nu beschikbaar voor Microsoft Azure Synapse-verbindingen.
Opmerkingen bij Google BigQuery-tabellen
Beschrijvingen van Google BigQuery-tabellen worden opgelost en weergegeven als tabelopmerkingen.
Schema-evolutie met INSERT instructies
Gebruik de WITH SCHEMA EVOLUTION component met SQL-instructies INSERT om het schema van de doeltabel automatisch te ontwikkelen tijdens het invoegen van bewerkingen. De component wordt ondersteund voor INSERT INTO, INSERT OVERWRITEen INSERT INTO ... REPLACE formulieren. Voorbeeld:
INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
Het schema van de Delta Lake-doeltabel wordt bijgewerkt voor extra kolommen of uitgebreide typen uit de bron. Zie schema-evolutie en syntaxis van INSERT-instructie voor meer informatie.
NULL-structwaarden behouden in INSERT-bewerkingen
INSERT bewerkingen met schema-evolutie of impliciete casting behouden structwaarden nu wanneer de bron- en doeltabellen verschillende struct veldvolgordes hebben.
parse_timestamp SQL-functie
De parse_timestamp SQL-functie parseert tijdstempeltekenreeksen met behulp van meerdere patronen en wordt uitgevoerd op de Photon-engine voor betere prestaties bij het parseren van tijdstempels in meerdere indelingen. Zie Datum/tijd-patronen voor informatie over datum/tijd-patroonopmaak.
max_by en min_by met optionele limiet
De statistische functies max_by en min_by accepteren nu een optioneel derde argument limit (maximaal 100.000). Indien opgegeven, retourneren de functies een matrix van maximaal limit waarden die overeenkomen met de grootste (of kleinste) waarden van de ordenenexpressie, waardoor top-K- en bottom-K-query's worden vereenvoudigd zonder vensterfuncties of CTE's.
Maatstaven voor opeenvolgende perioden met offset
Venstermetingen in metrische weergaven ondersteunen een offset veld dat het vensterkader met een vast interval achteruit of vooruit over de order dimensie verschuift. Gebruik offset om periode-op-periode-metingen te definiëren, zoals jaar-op-jaar of maand-op-maand. Zie Hoe offset het vensterkader wordt verplaatst.
De ankerrij opnemen of uitsluiten in venstermetingen van trailing en leading
De bereikwaarden trailing en leading voor vensterfuncties accepteren een optionele modifier inclusive of exclusive die bepaalt of de ankerrij deel uitmaakt van het schuivende venster. De standaardwaarde is exclusive, die overeenkomt met het vorige gedrag. Zie De ankerrij opnemen of uitsluiten.
Vector aggregaat- en scalaire functies
Nieuwe SQL-functies werken op ARRAY<FLOAT> vectoren voor embedding en similariteitsworkloads.
Aggregatiefuncties
- vector_avg: geeft als resultaat het elementgewijze gemiddelde van vectoren in een groep.
- vector_sum: geeft als resultaat de som van vectoren in een groep.
Scalaire functies:
- vector_cosine_similarity: geeft als resultaat de cosinus-gelijkenis van twee vectoren.
- vector_inner_product: retourneert het binnenste (punt) product van twee vectoren.
- vector_l2_distance: geeft als resultaat de euclidische afstand (L2) tussen twee vectoren.
- vector_norm: geeft als resultaat de Lp-norm van een vector (1, 2 of oneindigheid).
- vector_normalize: retourneert een vector die is genormaliseerd tot eenheidslengte.
Zie ingebouwde functies.
Ondersteuning van SQL-cursors in samengestelde instructies
Samengestelde SQL-scriptinstructies ondersteunen nu cursorverwerking. Gebruik DECLARE CURSOR om een cursor te definiëren en vervolgens de INSTRUCTIE OPEN, FETCH-instructie en CLOSE-instructie om de query uit te voeren en rijen één voor één te gebruiken. Cursors kunnen parametermarkeringen en voorwaardehandlers gebruiken, zoals NOT FOUND voor het verwerken van rijen per rij.
Geschatte top-k schetsfuncties
Nieuwe functies maken het bouwen en combineren van geschatte top-K-schetsen mogelijk voor gedistribueerde top-K-aggregatie:
- approx_top_k_accumulate: Maakt een schets per groep.
- approx_top_k_combine: hiermee worden schetsen samengevoegd.
- approx_top_k_estimate: geeft als resultaat de belangrijkste K-items met geschatte aantallen.
Zie approx_top_k statistische functies en ingebouwde functies voor meer informatie.
Tuple-schetsfuncties
Nieuwe aggregaat- en scalaire functies voor tupleschets bieden ondersteuning voor onderscheidende tellingen en aggregatie ten opzichte van sleutel-samenvattingsparen.
Aggregatiefuncties
-
tuple_sketch_agg_doublestatistische functie -
tuple_sketch_agg_integerstatistische functie -
tuple_union_agg_doublestatistische functie -
tuple_union_agg_integerstatistische functie -
tuple_intersection_agg_doublestatistische functie -
tuple_intersection_agg_integerstatistische functie
Scalaire functies:
- tuple_sketch_estimate
- tuple_sketch_summary
- tuple_sketch_theta
- tuple_union
- tuple_intersection
- tuple_difference
Zie ingebouwde functies.
Aangepaste afhankelijkheden voor Unity Catalog Python UDTFs
UDF's (Door de gebruiker gedefinieerde tabelfuncties) van Unity Catalog python kunnen nu aangepaste afhankelijkheden gebruiken voor externe bibliotheken, zodat u pakketten kunt gebruiken die verder gaan dan wat beschikbaar is in de standaard-SQL Warehouse-omgeving. Zie UDF's uitbreiden met behulp van aangepaste afhankelijkheden.
Nieuwe georuimtelijke functies
De volgende georuimtelijke functies zijn nu beschikbaar:
-
st_estimatesridfunctie: Maakt een schatting van de beste geprojecteerde ruimtelijke referentie-id (SRID) voor een invoergeometrie. -
st_force2dfunctie: Converteert een geografie of geometrie naar de 2D-weergave. -
st_nringsfunctie: Telt het totale aantal ringen in een veelhoek of multipolygon, inclusief zowel buiten- als binnenringen. -
st_numpointsfunctie: telt het aantal niet-lege punten in een geografie of geometrie.
Photon-ondersteuning voor georuimtelijke functies
De volgende georuimtelijke functies worden nu uitgevoerd op de Photon-engine voor snellere prestaties:
Februari 2026
Databricks SQL-versie 2025.40 wordt geïmplementeerd in Current
23 februari 2026
Databricks SQL-versie 2025.40 wordt uitgerold naar het Current-kanaal. Zie functies in 2025.40.
Databricks SQL versie 2025.40 is nu beschikbaar in preview
11 februari 2026
Databricks SQL-versie 2025.40 is nu beschikbaar in het preview-kanaal . Raadpleeg de volgende sectie voor meer informatie over nieuwe functies, gedragswijzigingen en oplossingen voor fouten.
SQL-scripting is algemeen beschikbaar
SQL-scripts zijn nu algemeen beschikbaar. Schrijf procedurelogica met SQL, inclusief voorwaardelijke instructies, lussen, lokale variabelen en afhandeling van uitzonderingen.
Parametermarkeringen worden nu ondersteund in meer SQL-contexten
U kunt nu benoemde (:param) en niet-benoemde? () parametermarkeringen gebruiken waar een letterlijke waarde van het juiste type is toegestaan. Dit omvat DDL-instructies, zoals CREATE VIEW v AS SELECT ? AS c1kolomtypen, zoals DECIMAL(:p, :s)en opmerkingen zoals COMMENT ON t IS :comment. Hierdoor kunt u een groot aantal SQL-instructies parameteriseren zonder dat uw code wordt blootgesteld aan SQL-injectieaanvallen. Zie parametermarkeringen.
IDENTIFIER clausule uitgebreid naar meerdere SQL-contexten
De IDENTIFIER component, die tekenreeksen naar SQL-objectnamen cast, wordt nu ondersteund in vrijwel elke context waarin een id is toegestaan. In combinatie met uitgebreide ondersteuning voor parametermarkeringen en letterlijke tekenreeksen kunt u alles parameteriseren, van kolomaliassen (AS IDENTIFIER(:name)) tot kolomdefinities (IDENTIFIER(:pk) BIGINT NOT NULL). Zie IDENTIFIER clausule.
Letterlijk samenvoegen van tekenreeksen wordt overal ondersteund
Sequentiële tekenreeksen zoals 'Hello' ' World' worden nu samengevoegd in 'Hallo wereld' in elke context waar tekenreeksen zijn toegestaan, inclusief COMMENT 'This' ' is a ' 'comment'. Zie STRING type.
Nieuwe BITMAP_AND_AGG functie
Er is nu een nieuwe BITMAP_AND_AGG functie beschikbaar om de bestaande bibliotheek met BITMAP functies aan te vullen.
Nieuwe Theta Sketch-functies voor geschatte afzonderlijke aantallen
Er is nu een nieuwe bibliotheek met functies beschikbaar voor geschatte afzonderlijke aantallen en setbewerkingen met behulp van Datasketches Theta Sketch:
-
theta_sketch_aggstatistische functie -
theta_union_aggstatistische functie -
theta_intersection_aggstatistische functie -
theta_sketch_estimateFunctie -
theta_unionFunctie -
theta_differenceFunctie -
theta_intersectionFunctie
Nieuwe KLL Sketch-functies voor geschatte kwantielen
Er is nu een nieuwe bibliotheek met functies beschikbaar voor het bouwen van KLL-schetsen voor geschatte kwantielberekeningen:
-
kll_sketch_agg_bigintstatistische functie -
kll_sketch_get_quantile_bigintFunctie -
kll_sketch_merge_bigintFunctie -
kll_sketch_agg_doublestatistische functie -
kll_sketch_get_quantile_doubleFunctie -
kll_sketch_merge_doubleFunctie -
kll_sketch_agg_floatstatistische functie -
kll_sketch_get_quantile_floatFunctie -
kll_sketch_merge_floatFunctie -
kll_sketch_get_n_bigintFunctie -
kll_sketch_get_rank_bigintFunctie -
kll_sketch_to_string_bigintFunctie -
kll_sketch_get_n_doubleFunctie -
kll_sketch_get_rank_doubleFunctie -
kll_sketch_to_string_doubleFunctie -
kll_sketch_get_n_floatFunctie -
kll_sketch_get_rank_floatFunctie -
kll_sketch_to_string_floatFunctie
U kunt meerdere KLL-schetsen samenvoegen in een aggregatiecontext met behulp van kll_merge_agg_bigint, kll_merge_agg_double en kll_merge_agg_float.
SQL-vensterfuncties in metrische weergaven
U kunt nu SQL-vensterfuncties in metrische weergaven gebruiken om lopende totalen, classificaties en andere berekeningen op basis van vensters te berekenen.
Nieuwe georuimtelijke functies
De volgende nieuwe georuimtelijke functies zijn nu beschikbaar:
-
st_azimuthfunctie: retourneert de op het noorden gebaseerde azimuth van het eerste punt naar de tweede in radialen in[0, 2π). -
st_boundaryfunctie: retourneert de grens van de invoergeometrie. -
st_closestpointfunctie: retourneert de 2D-projectie van een punt op de eerste geometrie die zich het dichtst bij de tweede geometrie bevindt. -
st_geogfromewktfunctie: Parseert een EWKT-beschrijving (Extended Well-Known Text) van een geografie. -
st_geomfromewktfunctie: Analyseert een Extended Well-Known Text (EWKT) beschrijving van een geometrie.
EWKT-invoerondersteuning voor bestaande geometrie- en geografiefuncties
De volgende functies accepteren nu Extended Well-Known Text (EWKT) als invoer:
Verbeterde prestaties voor herhaalde query's voor tabellen met rijfilters en kolommaskers
Herhaalde in aanmerking komende query's voor tabellen met rijfilters en kolommaskers profiteren nu van verbeterde cache van queryresultaten, wat resulteert in snellere uitvoeringstijden.
Verbeterde georuimtelijke functieprestaties
De prestaties van ruimtelijke joins worden verbeterd met ondersteuning voor ruimtelijke join in willekeurige volgorde. De volgende ST-functies hebben nu Photon-implementaties:
FSCK REPAIR TABLE bevat standaard metagegevensherstel
FSCK REPAIR TABLE bevat nu een eerste herstelstap voor metagegevens voordat u controleert op ontbrekende gegevensbestanden, zodat deze kan werken aan tabellen met beschadigde controlepunten of ongeldige partitiewaarden. Daarnaast is de dataFilePath kolom in het FSCK REPAIR TABLE DRY RUN uitvoerschema nu null-beschikbaar om nieuwe probleemtypen te ondersteunen waarbij het pad naar het gegevensbestand niet van toepassing is.
DESCRIBE TABLE uitvoer bevat metagegevenskolom
De uitvoer van DESCRIBE TABLE [EXTENDED] nu bevat een metadata kolom voor alle tabeltypen. Deze kolom bevat semantische metagegevens (weergavenaam, opmaak en synoniemen) die in de tabel zijn gedefinieerd als een JSON-tekenreeks.
NULL-structs behouden in MERGE, UPDATE, en streaming-schrijfbewerkingen
NULL-structs blijven nu behouden als NULL in Delta Lake MERGE, UPDATE, en streaming-schrijfbewerkingen die structtypecasts bevatten. Voorheen werden NULL-structs uitgebreid naar structs met alle velden die zijn ingesteld op NULL.
Gepartitioneerde kolommen in Parquet-bestanden
Gepartitioneerde Delta Lake-tabellen materialiseren nu partitiekolommen in nieuw geschreven Parquet-gegevensbestanden. Voorheen werden partitiewaarden alleen opgeslagen in de metagegevens van het Delta Lake-transactielogboek. Workloads die rechtstreeks Parquet-bestanden lezen die zijn geschreven door Delta Lake, zien extra partitiekolommen in nieuw geschreven bestanden.
Tijdstempelpartitiewaarden respecteren sessietijdzone
Tijdstempelpartitiewaarden worden nu correct aangepast met behulp van de spark.sql.session.timeZone configuratie. Voorheen werden ze onjuist geconverteerd naar UTC met behulp van de JVM-tijdzone.
Tijdreisbeperkingen bijgewerkt
Azure Databricks blokkeert nu query's voor tijdreizen buiten de deletedFileRetentionDuration drempelwaarde voor alle tabellen. De VACUUM opdracht negeert het argument retentieduur, behalve wanneer de waarde 0 uur is. U kunt niet groter dan deletedFileRetentionDurationinstellenlogRetentionDuration.
SHOW TABLES DROPPED respecteert LIMIT clausule
SHOW TABLES DROPPED respecteert nu correct de LIMIT clausule.