Liquid clustering toepassen op Delta-tabellen

Liquid clustering is een flexibele strategie voor gegevensindeling voor Delta-tabellen in Microsoft Fabric. Het vervangt statische Hive-stijl partitionering en handmatig Z-Order onderhoud door declaratieve, wijzigingsvriendelijke clustering. U definieert aan welke kolommen moeten worden geclusterd en de Fabric Spark Runtime verwerkt de indeling van fysieke gegevens automatisch.

Gebruik dit artikel om:

• Begrijpen hoe liquid clustering werkt en wanneer u deze wilt gebruiken.
• Vergelijk vloeistofclustering met partitionering en Z-Order.
• Configureer clustering voor uw tabellen.
• Meer inzicht in incrementele liquid clustering (Runtime 2.0+).
• Clusteringgedrag afstemmen met sessieconfiguraties.

Wat is liquid clustering?

Liquid clustering organiseert gegevens in bestanden van Delta-tabellen, zodat rijen met vergelijkbare waarden in de clusteringkolommen bij elkaar worden geplaatst. De indeling maakt verbeterd overslaan van bestanden mogelijk tijdens het uitvoeren van query’s: wanneer een query filtert op clusterkolommen, leest de engine alleen de bestanden waarvan de waardebereiken overeenkomen met het predicaat, en slaat de rest over.

In tegenstelling tot partitioneren, liquide clustering:

• Maakt geen fysieke mapstructuren per kolomwaarde.
• U hoeft geen clusterkolommen te kiezen tijdens het maken van tabellen (deze kunnen later worden gewijzigd).
• Verwerkt kolommen met hoge kardinaliteit zonder potentiële problemen met kleine bestanden te maken van duizenden kleine partities.
• Past indelingsoptimalisatie toe tijdens OPTIMIZE, niet tijdens schrijftijd.

Voordelen ten opzichte van partitionering en Z-Order

Liquid clustering biedt aanzienlijke voordelen ten opzichte van zowel Hive-stijl partitionering als Z-Order op het gebied van flexibiliteit, onderhoud en verwerking van veranderende gegevenspatronen.

Vergeleken met Partitionering in Hive-stijl

Vergeleken met Z-Order

Liquid clustering maakt gebruik van Z-Order voor indelingen met één kolom en de Hilbert-curve voor 2+ kolommen: een verbetering ten opzichte van Z-Order, die alleen de Z-Order-curve voor multidimensionale clustering toepast. Liquid clustering verpakt beide algoritmen in een incrementeel, metagegevensbewust framework dat doorlopende onderhoudskosten vermindert.

Een geclusterde vloeistoftabel maken

Definieer clusteringkolommen met behulp van de clausule CLUSTER BY bij het maken van een tabel:

-- Create a new clustered table
CREATE TABLE dbo.sales (
    order_id BIGINT,
    order_date DATE,
    region STRING,
    amount DECIMAL(10,2)
) CLUSTER BY (order_date, region);

-- Create from query results
CREATE TABLE dbo.sales_clustered
CLUSTER BY (order_date, region)
AS SELECT * FROM raw_sales;

-- Enable on existing table
ALTER TABLE dbo.sales_txn CLUSTER BY (order_date, region);

from delta.tables import DeltaTable

DeltaTable.create(spark) \
    .tableName("dbo.sales") \
    .addColumn("order_id", "BIGINT") \
    .addColumn("order_date", "DATE") \
    .addColumn("region", "STRING") \
    .addColumn("amount", "DECIMAL(10,2)") \
    .clusterBy("order_date", "region") \
    .execute()

import io.delta.tables.DeltaTable

DeltaTable.create(spark)
    .tableName("dbo.sales")
    .addColumn("order_id", "BIGINT")
    .addColumn("order_date", "DATE")
    .addColumn("region", "STRING")
    .addColumn("amount", "DECIMAL(10,2)")
    .clusterBy("order_date", "region")
    .execute()

Clusteringkolommen wijzigen

In tegenstelling tot partitionering kunt u op elk gewenst moment clusterkolommen wijzigen zonder gegevens te herschrijven:

-- Change clustering columns
ALTER TABLE sales CLUSTER BY (region, product_category);

-- Remove clustering (table becomes unclustered)
ALTER TABLE sales CLUSTER BY NONE;

Nadat u de clusterkolommen hebt gewijzigd, is de nieuwe indeling van toepassing op de volgende OPTIMIZE uitvoering. Bestaande bestanden behouden hun eerdere indeling totdat ze zijn geclusterd.

Clustering toepassen met OPTIMIZE

Clustering wordt toegepast tijdens de OPTIMIZE opdracht. U hoeft geen kolommen in de OPTIMIZE instructie op te geven omdat de clusterdefinitie is opgeslagen in metagegevens van de tabel:

-- Cluster the table using the defined clustering columns
OPTIMIZE sales;

-- Recluster partial Z-Cubes and Z-Cubes with different clustering keys or clustering providers
OPTIMIZE sales FULL;

Gebruik OPTIMIZE FULL deze methode wanneer u clusteringsleutels wijzigt en Z-Cubes opnieuw wilt opbouwen die niet voldoen aan de huidige clusteringstrategie. Een Z-Kubus is de logische eenheid die liquid clustering gebruikt om bestanden te groeperen die dezelfde clusteringkolommen delen. Gegevens worden geclusterd in één Z-Kubus totdat de clustersleutels veranderen of de hoeveelheid gegevens groter is dan 100 GB.

Hoe vloeistofclustering werkt

Wanneer u OPTIMIZE uitvoert op een liquid-geclusterde tabel, gebeurt het volgende:

1. Bestandsselectie: De engine selecteert bestanden die clustering nodig hebben.
   • In Runtime 2.0+ (incrementele clusteringstrategie) worden alleen niet-geclusterde, beschadigde, kleine of verwijderingsvectorbestanden geselecteerd.
   • In Runtime 1.3 worden alle bestanden binnen elke Z-kubus kleiner dan 100 GB geselecteerd, ongeacht of ze al goed zijn geclusterd.
2. Bin-verpakking: geselecteerde bestanden worden gegroepeerd in opslaglocaties die gericht zijn op een optimale grootte van het uitvoerbestand.
3. Opnieuw partitioneren: gegevens binnen elke bin worden opnieuw gepartitioneerd met behulp van een ruimtevullende curve (Hilbert-curve voor meerdere kolommen, Z-Order voor één kolom).
4. Bestand schrijven: gepartitioneerde gegevens worden geschreven als nieuwe bestanden met krappe waardebereiken op clusterkolommen.
5. Update van metagegevens: het Delta-logboek registreert de bestandsvervanging, waarbij nieuwe bestanden worden gelabeld met clusteringmetagegevens.

Het resultaat is een set bestanden met niet-overlappende (of minimaal overlappende) waardebereiken op clusterkolommen, waardoor de engine bestanden kan overslaan die niet overeenkomen met queryvoorwaarden.

Incrementele vloeibare clustering

Vanaf Fabric Runtime 2.0 (Delta 4.1) maakt liquid clustering standaard gebruik van een incremental clusteringstrategie. De incrementele strategie is een aanzienlijke verbetering ten opzichte van het standaardclustergedrag.

Waarom de strategie voor incrementele clustering belangrijk is

Het standaardclusteralgoritmen herschrijven alle bestanden binnen een Z-Kubus (maximaal 100 GB) tijdens elke OPTIMIZE uitvoering, ongeacht of ze al goed zijn geclusterd. Voor een tabel met kleine toevoegbewerkingen neemt de clusterkosten lineair toe met de tabelgrootte, niet met de hoeveelheid nieuwe gegevens.

Incrementele modus lost het probleem met volledig herschrijven op door alleen bestanden te selecteren die daadwerkelijk clustering nodig hebben:

• Niet-geclusterde bestanden: nieuw geschreven gegevens zonder clustermetagegevens
• Kleine bestanden: bestanden onder de drempelwaarde voor de doelbestandsgrootte
• Bestanden met verwijderingsvectoren: Bestanden met verzamelde verwijderingen overschrijden de opschoondrempel

Bestanden die al goed geclusterd zijn en van de juiste grootte zijn, worden volledig overgeslagen.

Automatisch opnieuw clusteren

Incrementele vloeibare clustering omvat automatische overlappingsdetectie, ook wel automatisch opnieuw clusteren genoemd, om de kwaliteit van clustering in de loop van de tijd te behouden. Wanneer er nieuwe gegevens binnenkomen, kan er overlap ontstaan tussen bestandswaardebereiken, waardoor de effectiviteit van het overslaan van gegevens afneemt. Met automatisch opnieuw clusteren worden overlappende waardebereiken in bestanden gedetecteerd en worden alleen de betrokken bestanden selectief opnieuw geclusterd.

Automatisch opnieuw clusteren wordt automatisch uitgevoerd als onderdeel van OPTIMIZE wanneer er nieuwe of gewijzigde gegevens in het cluster zijn. Er zijn geen handmatige interventie of geplande volledige reclusters vereist. De strategie voor incrementele clustering behoudt bijna optimale clusteringkwaliteit naarmate gegevens zich ontwikkelen.

Gedrag van volledig herschrijven herstellen

Als u de strategie voor incrementele clustering wilt uitschakelen en het gedrag voor volledig herschrijven wilt gebruiken, stelt u de volgende configuratie in:

SET spark.microsoft.delta.optimize.clustering.strategy.incremental = FALSE;

OPTIMIZE sales;

spark.conf.set('spark.microsoft.delta.optimize.clustering.strategy.incremental', False)

spark.conf.set("spark.microsoft.delta.optimize.clustering.strategy.incremental", "false")

U kunt ook een eenmalige volledige recluster gebruiken OPTIMIZE FULL zonder sessie-instellingen te wijzigen:

OPTIMIZE sales FULL;

Configuratiegids

De volgende sessieconfiguraties beheren het gedrag van liquid clustering in Fabric Runtime 2.0+.

Incrementeel clusteren

Automatisch opnieuw clusteren afstemmen

Deze configuraties bepalen de gevoeligheid en het bereik van automatische reclustering. De standaardinstellingen zijn geschikt voor de meeste workloads. Pas deze alleen aan wanneer u de afweging tussen clusterkwaliteit en schrijfversterking moet wijzigen.

Clusteringkolommen kiezen

Kies voor de beste resultaten clusteringkolommen op basis van uw meest voorkomende queryfilterpatronen:

• Kies 1 tot 4 kolommen die vaak voorkomen in WHERE-clausules. Meer kolommen verminderen de effectiviteit van het per kolom overslaan van bestanden door de ruimte-vullende curve en verhogen de tijd die nodig is om gegevens te clusteren.
• Overweeg de kolomkardinaliteit. Kolommen met lage kardinaliteit produceren minder afzonderlijke waardebereiken, wat het voordeel van het overslaan van bestanden vermindert in combinatie met clusteringsleutels met hoge kardinaliteit.
• Kolomvolgorde heeft geen invloed op clustering. De volgorde van de kolommen die na CLUSTER BY zijn opgegeven, heeft geen invloed op de uiteindelijke multidimensionale clustering.

Ondersteunde kolomtypen

Niet alle kolomtypen kunnen worden gebruikt als clustersleutels. De engine evalueert het gegevenstype van elke kolom om de geschiktheid te bepalen.

Altijd in aanmerking komend (atomische typen):

• NumericType(ByteType, ShortType, IntegerType, LongType, , FloatType, DoubleType) DecimalType
• DateType
• TimestampType
• TimestampNTZType
• StringType

Voorwaardelijk in aanmerking komend:

• StructType: wanneer spark.microsoft.delta.clusteredTable.complexTypes.enabled is ingeschakeld en alle bladvelden zelf geschikte typen zijn.
• ArrayType: wanneer spark.microsoft.delta.clusteredTable.complexTypes.enabled is ingeschakeld en het elementtype in aanmerking komt.
• MapType: wanneer spark.microsoft.delta.clusteredTable.complexTypes.enabled is ingeschakeld en zowel de sleutel- als waardetypen kunnen worden gesorteerd en in aanmerking komen.

Komt niet in aanmerking:

• BinaryType
• BooleanType
• NullType

Zie Bestand overslaan( In aanmerking komende gegevenstypen) voor de equivalente typen die worden gebruikt in statistieken op bestandsniveau.

Interactie met andere functies

Beste praktijken

• Voer OPTIMIZE regelmatig uit nadat batch-schrijfbewerkingen of volgens een schema voor streamingtabellen zijn uitgevoerd, maar alleen in Runtime 2.0+, waarbij de incrementele clusteringstrategie frequente uitvoeringen goedkoop maakt. In Runtime 1.3 en eerder herschrijft elke OPTIMIZE uitvoering alle gegevens in Z-Cubes onder 100 GB, dus uitvoeringen moeten opzettelijk en onregelmatig zijn.
• Gebruik OPTIMIZE FULL spaarzaam. Gebruik dit pas nadat u de clusteringkolommen hebt gewijzigd of wanneer u een eenmalige kwaliteitsreset nodig hebt.
• Bewaak de clusterkwaliteit door metrische gegevens van queryscans te controleren (bestanden gescand versus totaal aantal bestanden) in de Spark-gebruikersinterface of queryplannen.
• Combineer met het optimaliseren van schrijfbewerkingen voor streamingworkloads om ervoor te zorgen dat elke microbatch een beheerbaar aantal bestanden produceert voor clustering.

Verwante inhoud

• Tabelcompressie
• Bestandsgrootte afstemmen
• Z-Order
• Partitionering
• Bestand overslaan
• Gelijktijdigheidsbeheer
• V-Order
• Apache Spark Runtimes in Fabric