Gegevens overslaan

Statistieken voor het overslaan van gegevens worden automatisch verzameld wanneer u gegevens naar een Delta Lake- of een beheerde Apache Iceberg-tabel schrijft. Azure Databricks gebruikt statistieken per bestand (minimum- en maximumwaarden, null-tellingen en totaalrecords) op het moment van de query om irrelevante bestanden over te slaan en query's sneller te maken.

U moet statistieken hebben verzameld voor kolommen die worden gebruikt in ZORDER verklaringen. Zie Wat is Z-ordering?

Kolommen voor statistieken opgeven

Voor externe tabellen van Unity Catalog worden statistieken verzameld voor de eerste 32 kolommen die standaard in uw tabelschema zijn gedefinieerd. Voor beheerde tabellen in Unity Catalog worden statistieken voor het overslaan van bestanden intelligent gekozen met behulp van voorspellende optimalisatie en hebben ze geen kolomlimiet van 32. Voorspellende optimalisatie wordt automatisch uitgevoerd ANALYZE, een opdracht voor het verzamelen van statistieken. Databricks raadt aan voorspellende optimalisatie in te schakelen voor alle beheerde tabellen in Unity Catalog om het onderhoud van gegevens te vereenvoudigen en de opslagkosten te verlagen. Zie Voorspellende optimalisatie voor beheerde tabellen in Unity Catalog.

Als u geen predictive optimization gebruikt, kunt u het gedrag wijzigen waarmee statistiekenverzamelingen worden beperkt tot 32 kolommen door een van de volgende tabeleigenschappen in te stellen:

Tabeleigenschappen kunnen worden ingesteld bij het maken van tabellen of met ALTER TABLE instructies. Zie naslaginformatie over tabeleigenschappen. In het volgende voorbeeld wordt het standaardgedrag van statistiekenverzameling overschreven om verzameling statistieken in te stellen op benoemde kolommen:

Delta Lake

ALTER TABLE table_name SET TBLPROPERTIES('delta.dataSkippingStatsColumns' = 'col1, col2, col3')

Ijsbergtabel

ALTER TABLE table_name SET TBLPROPERTIES('iceberg.dataSkippingStatsColumns' = 'col1, col2, col3')

Bij het bijwerken van deze eigenschappen worden statistieken voor bestaande gegevens niet automatisch opnieuw berekend. In plaats daarvan heeft dit invloed op het gedrag van het verzamelen van toekomstige statistieken bij het toevoegen of bijwerken van gegevens in de tabel. Statistieken worden niet gebruikt voor kolommen die niet zijn opgenomen in de huidige lijst met statistiekenkolommen.

Als u in Databricks Runtime 14.3 LTS en hoger de tabeleigenschappen hebt gewijzigd of de opgegeven kolommen voor statistieken hebt gewijzigd, kunt u de hercomputatie van statistieken voor een tabel handmatig activeren met behulp van de volgende opdracht:

ANALYZE TABLE table_name COMPUTE DELTA STATISTICS

Wat is Z-ordering?

Z-volgorde is een techniek om gerelateerde informatie in dezelfde set bestanden te rangschikken. Azure Databricks-algoritmen voor het overslaan van data maken automatisch gebruik van deze co-lokaliteit. Dit gedrag vermindert de hoeveelheid gegevens die moet worden gelezen. Geef de kolommen op die in de ZORDER BY clausule moeten worden gesorteerd op Z-order.

OPTIMIZE events
WHERE date >= current_timestamp() - INTERVAL 1 day
ZORDER BY (eventType)

Als u verwacht dat een kolom vaak wordt gebruikt in querypredicaten en als die kolom een hoge kardinaliteit (dat wil gezegd een groot aantal afzonderlijke waarden) heeft, gebruikt u ZORDER BY.

U kunt meerdere kolommen voor ZORDER BY opgeven als een door komma's gescheiden lijst. De effectiviteit daalt echter met elke extra kolom.

Databricks raadt u aan geen gebruik te maken ZORDER BY van kolommen waarvoor geen statistieken zijn verzameld, omdat deze ineffectief is en onnodige rekenresources gebruikt. Voor het overslaan van data zijn kolomlokale statistieken vereist, zoals min, max en het aantal. U kunt het verzamelen van statistieken voor bepaalde kolommen configureren door de volgorde van kolommen in het schema te wijzigen of u kunt het aantal kolommen verhogen waarop statistieken moeten worden verzameld.