Hoppa över data

Statistik för dataöverhoppning samlas in automatiskt när du skriver data till en Delta Lake- eller hanterad Apache Iceberg-tabell. Azure Databricks använder statistik per fil (lägsta och högsta värden, antal null och totalt antal poster) vid frågetillfället för att hoppa över irrelevanta filer och påskynda frågor.

Du måste ha insamlad statistik för kolumner som används i ZORDER-satser. Se Vad är Z-beställning?.

Ange statistik kolumner

För externa Unity Catalog-tabeller samlas statistik in på de första 32 kolumnerna som definieras i tabellschemat som standard. För hanterade tabeller i Unity Catalog väljs statistik för att hoppa över filer intelligent med hjälp av prediktiv optimering och har ingen gräns på 32 kolumner. Förutsägelseoptimering kör ANALYZEautomatiskt , ett kommando för att samla in statistik. Databricks rekommenderar att du aktiverar förutsägande optimering för alla hanterade Unity Catalog-tabeller för att förenkla dataunderhållet och minska lagringskostnaderna. Se Förutsägande optimering för hanterade Unity Catalog-tabeller.

Om du inte använder förutsägelseoptimering kan du ändra det beteende som begränsar statistiksamlingar till 32 kolumner genom att ange någon av följande tabellegenskaper:

Tabellegenskaper kan anges när tabellen skapas eller med ALTER TABLE -instruktioner. Se Referens för tabellegenskaper. I följande exempel åsidosätts standardbeteendet för statistikinsamling för att ange statistiksamling på namngivna kolumner:

Delta Lake

ALTER TABLE table_name SET TBLPROPERTIES('delta.dataSkippingStatsColumns' = 'col1, col2, col3')

Isbergsbord

ALTER TABLE table_name SET TBLPROPERTIES('iceberg.dataSkippingStatsColumns' = 'col1, col2, col3')

Uppdatering av dessa egenskaper återberäknar inte statistik automatiskt för befintliga data. I stället påverkar det beteendet för framtida statistikinsamling när du lägger till eller uppdaterar data i tabellen. Statistik används inte för kolumner som inte ingår i den aktuella listan med statistikkolumner.

Om du har ändrat tabellegenskaperna eller ändrat de angivna kolumnerna för statistik i Databricks Runtime 14.3 LTS och senare kan du manuellt utlösa omberäkning av statistik för en tabell med hjälp av följande kommando:

ANALYZE TABLE table_name COMPUTE DELTA STATISTICS

Vad är Z-ordning?

Z-ordering är en teknik för att samlagra relaterad information i samma uppsättning filer. Azure Databricks-algoritmer som hoppar över data använder automatiskt den här samlokaliseringen. Det här beteendet minskar mängden data som behöver läsas. För att Z-ordna data, ange kolumnerna som ska ordnas på i ZORDER BY-satsen:

OPTIMIZE events
WHERE date >= current_timestamp() - INTERVAL 1 day
ZORDER BY (eventType)

Om du förväntar dig att en kolumn ska användas ofta i frågepredikat och om kolumnen har hög kardinalitet (dvs. ett stort antal distinkta värden) använder ZORDER BYdu .

Du kan ange flera kolumner för ZORDER BY som en kommaavgränsad lista. Effektiviteten sjunker dock med varje extra kolumn.

Databricks rekommenderar att du inte använder ZORDER BY på kolumner som inte har statistik insamlad eftersom den är ineffektiv och använder onödiga beräkningsresurser. Datahopp kräver kolumnlokal statistik som min, max och antal. Du kan konfigurera statistikinsamling för vissa kolumner genom att ordna om kolumner i schemat, eller så kan du öka antalet kolumner att samla in statistik om.