Anwenden von Flüssigclustering auf Delta-Tabellen

Liquid Clustering ist eine flexible Datenlayoutstrategie für Delta-Tabellen in Microsoft Fabric. Es ersetzt statische Partitionierung im Hive-Stil und die manuelle Z-Order-Wartung durch deklaratives, änderungsfreundliches Clustering. Sie definieren, auf welche Spalten gruppiert werden sollen, und die Fabric Spark Runtime verarbeitet das physische Datenlayout automatisch.

Verwenden Sie diesen Artikel, um:

• Verstehen, wie flüssiger Cluster funktioniert und wann es verwendet werden soll.
• Vergleichen Sie Liquid Clustering mit Partitionierung und Z-Order.
• Konfigurieren Sie clustering in Ihren Tabellen.
• Inkrementelle Liquid-Clusterbildung verstehen (Runtime 2.0+).
• Passen Sie das Clustering-Verhalten mit Sitzungskonfigurationen an.

Was ist flüssiges Clustern?

Liquid Clustering organisiert Daten in Delta-Tabellendateien so, dass Zeilen mit ähnlichen Werten in den Clustering-Spalten zusammen angeordnet werden. Das Layout ermöglicht das erweiterte Überspringen von Dateien während der Abfrageausführung: Wenn ein Abfragemodul auf Clusterspalten filtert, liest das Modul nur die Dateien, deren Wertebereiche dem Prädikat entsprechen, und überspringt den Rest.

Im Gegensatz zur Partitionierung: Liquid Clustering:

• Erstellt keine physischen Verzeichnisstrukturen pro Spaltenwert.
• Erfordert nicht, dass Sie zum Zeitpunkt der Tabellenerstellung Clusteringspalten auswählen (sie können später geändert werden).
• Behandelt Spalten mit hoher Kardinalität, ohne potenzielle kleine Dateiprobleme aus Tausenden von winzigen Partitionen zu erstellen.
• Wendet die Layoutoptimierung während OPTIMIZE an, nicht beim Schreiben.

Vorteile gegenüber Partitionierung und Z-Reihenfolge

Flüssiges Clustering bietet erhebliche Vorteile gegenüber der Partitionierung im Hive-Stil und Z-Order hinsichtlich Flexibilität, Wartung und Handhabung von sich entwickelnden Datenmustern.

Im Vergleich zur Partitionierung im Hive-Stil

Verglichen mit Z-Order

Liquid Clustering verwendet Z-Order für einspaltige Layouts und die Hilbert-Kurve für Layouts mit zwei oder mehr Spalten – eine Verbesserung gegenüber Z-Order, bei dem nur die Z-Order-Kurve für mehrdimensionales Clustering verwendet wird. Liquid Clustering umschließt beide Algorithmen in einem inkrementellen, metadatenfähigen Framework, das laufende Wartungskosten reduziert.

Erstellen einer flüssigen gruppierten Tabelle

Definieren Sie Clustering-Spalten beim Erstellen der Tabelle mithilfe der CLUSTER BY Klausel:

-- Create a new clustered table
CREATE TABLE dbo.sales (
    order_id BIGINT,
    order_date DATE,
    region STRING,
    amount DECIMAL(10,2)
) CLUSTER BY (order_date, region);

-- Create from query results
CREATE TABLE dbo.sales_clustered
CLUSTER BY (order_date, region)
AS SELECT * FROM raw_sales;

-- Enable on existing table
ALTER TABLE dbo.sales_txn CLUSTER BY (order_date, region);

from delta.tables import DeltaTable

DeltaTable.create(spark) \
    .tableName("dbo.sales") \
    .addColumn("order_id", "BIGINT") \
    .addColumn("order_date", "DATE") \
    .addColumn("region", "STRING") \
    .addColumn("amount", "DECIMAL(10,2)") \
    .clusterBy("order_date", "region") \
    .execute()

import io.delta.tables.DeltaTable

DeltaTable.create(spark)
    .tableName("dbo.sales")
    .addColumn("order_id", "BIGINT")
    .addColumn("order_date", "DATE")
    .addColumn("region", "STRING")
    .addColumn("amount", "DECIMAL(10,2)")
    .clusterBy("order_date", "region")
    .execute()

Clustering-Spalten ändern

Im Gegensatz zur Partitionierung können Sie Clusterspalten jederzeit ändern, ohne Daten neu zu schreiben:

-- Change clustering columns
ALTER TABLE sales CLUSTER BY (region, product_category);

-- Remove clustering (table becomes unclustered)
ALTER TABLE sales CLUSTER BY NONE;

Nach dem Ändern der Spalten für die Clusterbildung wird das neue Layout beim nächsten OPTIMIZE-Lauf angewendet. Vorhandene Dateien behalten ihr vorheriges Layout bei, bis sie gruppiert sind.

Anwenden von Clustering mit OPTIMIZE

Clustering wird während des OPTIMIZE Befehls angewendet. Es ist nicht erforderlich, Spalten in der OPTIMIZE Anweisung anzugeben, da die Clusteringdefinition in Tabellenmetadaten gespeichert ist:

-- Cluster the table using the defined clustering columns
OPTIMIZE sales;

-- Recluster partial Z-Cubes and Z-Cubes with different clustering keys or clustering providers
OPTIMIZE sales FULL;

Verwenden Sie diese Option OPTIMIZE FULL , wenn Sie Clusteringschlüssel ändern und Z-Cubes neu erstellen möchten, die nicht der aktuellen Clusteringstrategie entsprechen. Ein Z-Cube ist die logische Einheit, die beim Liquid Clustering verwendet wird, um Dateien zu gruppieren, die dieselben Clustering-Spalten gemeinsam haben. Daten werden in einem einzelnen Z-Cube gruppiert, bis sich Clusterschlüssel ändern oder die Datenmenge 100 GB überschreitet.

Funktionsweise der Flüssigclusterung

Wenn Sie OPTIMIZE auf einer liquid-clustered-Tabelle ausführen, passiert Folgendes:

1. Dateiauswahl: Das Modul wählt Dateien aus, die Clustering benötigen.
   • In Runtime 2.0+ (Strategie für inkrementelles Clustering) werden nur nicht geclusterte, problematische, kleine oder Dateien mit Löschvektoren ausgewählt.
   • In Runtime 1.3 werden alle Dateien innerhalb jedes Z-Cubes ausgewählt, der kleiner als 100 GB ist, unabhängig davon, ob sie bereits gut gruppiert sind.
2. Containerverpackung: Ausgewählte Dateien werden in Containern gruppiert, die auf eine optimale Ausgabedateigröße ausgerichtet sind.
3. Neupartitionierung: Die Daten innerhalb jedes Buckets werden mithilfe einer raumfüllenden Kurve neu partitioniert (Hilbertkurve für mehrere Spalten, Z-Order-Kurve für eine einzelne Spalte).
4. Schreiben von Dateien: Umpartitionierte Daten werden als neue Dateien mit eng gefassten Wertebereichen in den Clustering-Spalten geschrieben.
5. Metadatenaktualisierung: Das Delta-Protokoll zeichnet den Dateiersetzungsvorgang auf und kategorisiert neue Dateien mit Clusteringmetadaten.

Das Ergebnis sind Dateien mit nicht überlappenden (oder minimal überlappenden) Wertbereichen in Clusterspalten, sodass das Modul Dateien überspringen kann, die nicht mit Abfrage-Prädikaten übereinstimmen.

Inkrementelle Flüssigkeitsclustering

Ab Fabric Runtime 2.0 (Delta 4.1) wird bei Liquid Clustering standardmäßig eine inkrementelle Clustering-Strategie verwendet. Die inkrementelle Strategie ist eine erhebliche Verbesserung des Standardclusteringverhaltens.

Warum die inkrementelle Clusteringstrategie wichtig ist

Der Standardclusteringalgorithmus schreibt alle Dateien in einem Z-Cube (bis zu 100 GB) bei jeder OPTIMIZE Ausführung neu, unabhängig davon, ob sie bereits gut gruppiert sind. Bei einer Tabelle, die kleine Anfügedaten empfängt, wächst die Clusterungskosten linear mit Tabellengröße, nicht mit der Menge neuer Daten.

Im inkrementellen Modus wird das Problem mit dem vollständigen Umschreiben behoben, indem nur Dateien ausgewählt werden, die tatsächlich Clustering benötigen:

• Nicht gruppierte Dateien: Neu geschriebene Daten ohne Clustering-Metadaten
• Kleine Dateien: Dateien unter dem Schwellenwert für die Zieldateigröße
• Dateien mit Löschvektoren: Dateien mit angesammelten Löschvorgängen, die den Bereinigungsschwellenwert überschreiten

Bereits gut gruppierte und angemessen dimensionierte Dateien werden vollständig übersprungen.

Automatisches Neuclustering

Die inkrementelle Flüssigkeitsclustering umfasst die automatische Überlappungserkennung, die als automatisches Neuclustering bezeichnet wird, um die Clusterqualität im Laufe der Zeit aufrechtzuerhalten. Wenn neue Daten eintreffen, können sie zu Überlappungen zwischen den Wertebereichen von Dateien führen, wodurch die Wirksamkeit des Daten-Skippings beeinträchtigt wird. Die automatische Neuclusterung erkennt überlappende Wertebereiche über Dateien hinweg und gruppiert selektiv nur die betroffenen Dateien erneut.

Die automatische Neugruppierung wird als Teil von OPTIMIZE ausgeführt, sobald es neue oder geänderte Daten gibt, die gruppiert werden müssen. Es sind keine manuellen Eingriffe oder geplanten vollständigen Neu-Clusterings erforderlich. Die Strategie für inkrementelles Clustering gewährleistet eine nahezu optimale Clusterqualität, während sich die Daten weiterentwickeln.

Auf vollständiges Umschreibverhalten zurücksetzen

Wenn Sie die inkrementelle Clusteringstrategie deaktivieren und das Verhalten des vollständigen Umschreibens verwenden müssen, legen Sie die folgende Konfiguration fest:

SET spark.microsoft.delta.optimize.clustering.strategy.incremental = FALSE;

OPTIMIZE sales;

spark.conf.set('spark.microsoft.delta.optimize.clustering.strategy.incremental', False)

spark.conf.set("spark.microsoft.delta.optimize.clustering.strategy.incremental", "false")

Alternativ können Sie mit OPTIMIZE FULL eine einmalige vollständige Neu-Clusterung durchführen, ohne die Sitzungseinstellungen zu ändern:

OPTIMIZE sales FULL;

Konfigurationsreferenz

Die folgenden Sitzungskonfigurationen steuern das Verhalten des flüssigen Clusterings in Fabric Runtime 2.0+.

Inkrementelle Clusterbildung

Automatische Recluster-Optimierung

Diese Konfigurationen steuern die Empfindlichkeit und den Umfang der automatischen erneuten Clusterung. Die Standardwerte eignen sich für die meisten Workloads. Passen Sie sie nur an, wenn Sie den Kompromiss zwischen Clusterqualität und Schreibverstärkung ändern müssen.

Auswahl von Clustering-Spalten

Um optimale Ergebnisse zu erzielen, wählen Sie Clusterspalten basierend auf Ihren am häufigsten verwendeten Abfragefiltermustern aus:

• Wählen Sie 1 bis 4 Spalten aus, die häufig in WHERE Klauseln angezeigt werden. Mehr Spalten verringern die Wirksamkeit des dateibezogenen Überspringens pro Spalte durch die raumfüllende Kurve und erhöhen den Zeitaufwand für das Clustern der Daten.
• Berücksichtigen Sie die Spaltenkardinalität. Spalten mit niedriger Kardinalität erzeugen weniger verschiedene Wertebereiche, was den Vorteil des Dateiüberspringens verringert, wenn sie mit Clusterschlüsseln mit hoher Kardinalität kombiniert werden.
• Die Spaltenreihenfolge hat keine Auswirkungen auf das Clustering. Die Reihenfolge der nach CLUSTER BY angegebenen Spalten hat keinen Einfluss auf die resultierende mehrdimensionale Clusterung.

Unterstützte Spaltentypen

Nicht alle Spaltentypen können als Clusterschlüssel verwendet werden. Das Modul wertet den Datentyp jeder Spalte aus, um die Berechtigung zu ermitteln.

Immer zulässig (atomare Typen):

• NumericType (ByteType, ShortType, IntegerType, LongType, FloatType, DoubleType, DecimalType)
• DateType
• TimestampType
• TimestampNTZType
• StringType

Bedingt berechtigt:

• StructType: wenn spark.microsoft.delta.clusteredTable.complexTypes.enabled aktiviert ist und alle Blattfelder selbst zulässige Typen sind.
• ArrayType: wenn spark.microsoft.delta.clusteredTable.complexTypes.enabled aktiviert ist und der Elementtyp berechtigt ist.
• MapType: wenn spark.microsoft.delta.clusteredTable.complexTypes.enabled aktiviert ist und sowohl der Schlüssel- als auch der Werttyp geordnet und berechtigt sind.

Nicht berechtigt:

• BinaryType
• BooleanType
• NullType

Informationen zu den entsprechenden zulässigen Typen, die in Statistiken auf Datei-Ebene verwendet werden, finden Sie unter Überspringen von Dateien – Zulässige Datentypen.

Interaktion mit anderen Features

Bewährte Methoden

• Führen Sie OPTIMIZE regelmäßig nach Batch-Schreibvorgängen oder nach einem Zeitplan für Streaming-Tabellen aus – jedoch nur in Runtime 2.0+, wo die inkrementelle Clustering-Strategie häufige Ausführungen kostengünstig macht. In Runtime 1.3 und früheren Versionen schreibt jede Ausführung alle OPTIMIZE Daten in Z-Cubes unter 100 GB neu, daher sollten Ausführungen beabsichtigt und selten sein.
• Sparsam verwendenOPTIMIZE FULL. Verwenden Sie sie nur, nachdem Sie Clustering-Spalten geändert haben oder wenn Sie eine einmalige Qualitätsrücksetzung benötigen.
• Überwachen Sie die Clusterqualität , indem Sie Abfragescanmetriken (Dateien, die im Vergleich zu Gesamtdateien gescannt wurden) in Spark UI oder Abfrageplänen überprüfen.
• Kombinieren Sie die Kombination mit der Optimierung von Schreibvorgängen für Streaming-Workloads, um sicherzustellen, dass jeder Mikrobatch eine verwaltbare Anzahl von Dateien für das Clustering erzeugt.

Verwandte Inhalte

• Tabellenkomprimierung
• Optimieren der Dateigröße
• Z-Order
• Partitionierung
• Überspringen von Dateien
• Nebenläufigkeitskontrolle
• V-Reihenfolge
• Apache-Spark-Runtimes in Fabric