Überspringen von Daten

Datensprungstatistiken werden automatisch gesammelt, wenn Sie Daten in einen Delta Lake oder eine verwaltete Apache Iceberg-Tabelle schreiben. Azure Databricks verwendet pro Datei Statistiken (Mindest- und Höchstwerte, Nullanzahl und Gesamtdatensätze) zur Abfragezeit, um irrelevante Dateien zu überspringen und Abfragen zu beschleunigen.

Für Spalten, die in ZORDER-Anweisungen verwendet werden, müssen Statistiken gesammelt werden. Weitere Informationen finden Sie unter Worum handelt es sich bei der Z-Reihenfolge?.

Statistikspalten angeben

Bei externen Tabellen im Unity-Katalog werden Statistiken für die ersten 32 Spalten gesammelt, die standardmäßig in Ihrem Tabellenschema definiert sind. Bei verwalteten Tabellen des Unity-Katalogs werden statistische Dateisprungdaten mithilfe prädiktiver Optimierung intelligent ausgewählt und unterliegen keinem Limit von 32 Spalten. Predictive Optimization führt ANALYZE automatisch aus, einen Befehl zum Sammeln von Statistiken. Databricks empfiehlt die Aktivierung der prädiktiven Optimierung für alle verwalteten Tabellen in Unity Catalog, um die Datenwartung zu vereinfachen und die Speicherkosten zu senken. Siehe Prädiktive Optimierung für verwaltete Unity Catalog-Tabellen.

Wenn Sie keine prädiktive Optimierung verwenden, können Sie das Verhalten ändern, das Statistikensammlungen auf 32 Spalten beschränkt, indem Sie eine der folgenden Tabelleneigenschaften festlegen:

Tabelleneigenschaften können bei der Tabellenerstellung oder mit ALTER TABLE-Anweisungen festgelegt werden. Siehe Referenz zu Tabelleneigenschaften. Im folgenden Beispiel wird das Standardverhalten der Statistikensammlung überschrieben, um die Statistikauflistung für benannte Spalten festzulegen:

Delta Lake

ALTER TABLE table_name SET TBLPROPERTIES('delta.dataSkippingStatsColumns' = 'col1, col2, col3')

Eisbergtisch

ALTER TABLE table_name SET TBLPROPERTIES('iceberg.dataSkippingStatsColumns' = 'col1, col2, col3')

Das Aktualisieren dieser Eigenschaften führt nicht dazu, dass Statistiken für vorhandene Daten automatisch neu berechnet werden. Stattdessen wirkt sich dies auf das Verhalten einer zukünftigen Statistiksammlung aus, wenn Daten in der Tabelle hinzugefügt oder aktualisiert werden. Statistiken werden nicht für Spalten verwendet, die nicht in der aktuellen Liste der Statistikspalten enthalten sind.

Wenn Sie in Databricks Runtime 14.3 LTS und höher die Tabelleneigenschaften geändert oder die angegebenen Spalten für Statistiken geändert haben, können Sie die Neukompilierung von Statistiken für eine Tabelle mithilfe des folgenden Befehls manuell auslösen:

ANALYZE TABLE table_name COMPUTE DELTA STATISTICS

Worum handelt es sich bei der Z-Reihenfolge?

Z-Ordering ist eine Technik, um zusammengehörige Informationen in derselben Dateigruppe gemeinsam abzulegen. Azure Databricks-Datenübersprungs-Algorithmen nutzen diese Kolokalität automatisch aus. Dieses Verhalten reduziert die Datenmenge, die gelesen werden muss. Geben Sie für Z-Reihenfolge-Daten die Spalten an, die in der ZORDER BY Klausel sortiert werden sollen:

OPTIMIZE events
WHERE date >= current_timestamp() - INTERVAL 1 day
ZORDER BY (eventType)

Wenn Sie erwarten, dass eine Spalte häufig in Abfrageprädikaten verwendet wird, und wenn diese Spalte eine hohe Kardinalität aufweist (d. h. eine große Anzahl von eindeutigen Werten), dann verwenden Sie ZORDER BY.

Für ZORDER BY können Sie mehrere Spalten in Form einer durch Kommas getrennten Liste angeben. Die Effektivität fällt jedoch bei jeder zusätzlichen Spalte ab.

Databricks empfiehlt, dass Sie nicht für Spalten verwenden ZORDER BY , die keine Statistiken gesammelt haben, da sie ineffektiv ist und unnötige Computeressourcen verwendet. Das Überspringen von Daten erfordert spaltenbezogene Statistiken wie Minimum, Maximum und Anzahl. Sie können die Statistikerfassung für bestimmte Spalten konfigurieren, indem Sie die Spalten im Schema neu anordnen oder die Anzahl von Spalten erhöhen, für die Statistiken erfasst werden sollen.