Grootte van gegevensbestand beheren

Azure Databricks stemt bestandsgroottes automatisch af voor door Unity Catalog beheerde tabellen. Voor externe tabellen en verouderde workloads kunt u automatische compressie, geoptimaliseerde schrijfbewerkingen en doelbestandsgrootten configureren om te bepalen hoe gegevens worden geschreven en gecomprimeerd.

Voor beheerde tabellen in Unity Catalog optimaliseert Databricks de meeste instellingen automatisch als u een SQL Warehouse of Databricks Runtime 11.3 LTS of hoger gebruikt.

Als u een workload bijwerkt vanuit Databricks Runtime 10.4 LTS of lager, raadpleegt u Upgraden naar automatische compressie op de achtergrond.

Wanneer uitvoeren OPTIMIZE

Automatische compressie en geoptimaliseerde schrijfbewerkingen verminderen elk kleine bestandsproblemen, maar zijn geen volledige vervanging voor OPTIMIZE. Voor tabellen groter dan 1 TB raadt Databricks aan om OPTIMIZE volgens een schema uit te voeren om bestanden verder samen te voegen. Databricks raadt liquid clustering aan voor verbeterd overslaan van gegevens. Wanneer liquid clustering is ingeschakeld, OPTIMIZE worden gegevens automatisch opnieuw ingedeeld door de clustersleutels. Zie Liquid Clustering gebruiken voor tabellen.

Voor beheerde tabellen in Unity Catalog wordt voorspellende optimalisatie automatisch uitgevoerd OPTIMIZE op tabellen waarvoor predictive optimization is ingeschakeld.

Automatisch optimaliseren

Automatisch optimaliseren beschrijft de instellingen autoOptimize.autoCompact en autoOptimize.optimizeWrite. Zie Automatische compressie en geoptimaliseerde schrijfbewerkingen.

Automatische compressie

Automatische compactie combineert kleine bestanden in tabelpartities om het probleem van kleine bestanden te verminderen. Het wordt synchroon uitgevoerd op het cluster dat de schrijfbewerking uitvoert, nadat de schrijfbewerking is voltooid en compacteert alleen bestanden die nog niet eerder zijn gecomprimeerd.

Automatische compressie en voorspellende optimalisatie zijn onafhankelijke functies die afzonderlijk of samen kunnen worden gebruikt. Automatische compressie wordt uitgevoerd op het cluster dat de schrijfbewerking uitvoert, terwijl bij voorspellende optimalisatie onderhoudsbewerkingen asynchroon worden uitgevoerd met behulp van serverloze rekenkracht.

Gebruik de volgende instellingen om automatische compressie te configureren:

Deze instellingen accepteren de volgende opties:

Geoptimaliseerde schrijfbewerkingen

Geoptimaliseerde schrijfbewerkingen verbeteren de bestandsgrootte wanneer gegevens worden geschreven en profiteren van latere leesbewerkingen in de tabel.

Geoptimaliseerde schrijfbewerkingen zijn het meest effectief voor gepartitioneerde tabellen, omdat ze het aantal kleine bestanden verminderen dat naar elke partitie wordt geschreven. Het schrijven van minder grote bestanden is efficiënter dan het schrijven van veel kleine bestanden, maar u ziet mogelijk nog steeds een toename van de schrijflatentie omdat de gegevens in willekeurige volgorde worden geschoven voordat ze worden geschreven.

In de volgende afbeelding ziet u hoe geoptimaliseerde schrijfbewerkingen werken:

Geoptimaliseerde schrijfbewerkingen zijn standaard ingeschakeld voor de volgende bewerkingen:

• MERGE
• UPDATE met subquery's
• DELETE met subquery's

Geoptimaliseerde schrijfbewerkingen worden ook ingeschakeld voor CTAS instructies en INSERT bewerkingen bij het gebruik van SQL Warehouses. In Databricks Runtime 13.3 LTS en hoger hebben alle tabellen die zijn geregistreerd in Unity Catalog geoptimaliseerde schrijfbewerkingen ingeschakeld voor CTAS instructies en INSERT bewerkingen voor gepartitioneerde tabellen.

Geoptimaliseerde schrijfbewerkingen kunnen worden ingeschakeld op tabel- of sessieniveau met behulp van de volgende instellingen:

• Tabeleigenschap: autoOptimize.optimizeWrite
• SparkSession-instelling: spark.databricks.delta.optimizeWrite.enabled (Delta) of spark.databricks.iceberg.optimizeWrite.enabled (Iceberg)

Deze instellingen accepteren de volgende opties:

Een doelbestandsgrootte instellen

Als u de grootte van bestanden in de tabel wilt afstemmen, stelt u de tabeleigenschaptargetFileSize in op de gewenste grootte. Wanneer alle optimalisatiebewerkingen voor gegevensindelingen zijn ingesteld, wordt geprobeerd bestanden van de opgegeven grootte te genereren, waaronder optimaliseren, liquide clustering, automatische compressie en geoptimaliseerde schrijfbewerkingen.

Voor bestaande tabellen kunt u eigenschappen instellen en ongedaan maken met behulp van de SQL-opdracht ALTER TABLESET TBL PROPERTIES. U kunt deze eigenschappen ook automatisch instellen wanneer u nieuwe tabellen maakt met behulp van Spark-sessieconfiguraties. Raadpleeg de naslaginformatie over tabeleigenschappen voor meer informatie.

Bestandsgrootte automatisch afstemmen op basis van tabelgrootte

Om handmatige afstemming te minimaliseren, stemt Azure Databricks de bestandsgrootte van tabellen automatisch af op basis van de tabelgrootte. Azure Databricks gebruikt kleinere bestandsgrootten voor kleinere tabellen en grotere bestandsgrootten voor grotere tabellen, zodat het aantal bestanden in de tabel niet te groot wordt. Azure Databricks stemt tabellen die u hebt afgestemd met een specifieke doelgrootte niet automatisch af.

De grootte van het doelbestand is gebaseerd op de huidige grootte van de tabel. Voor tabellen kleiner dan 2,56 TB is de automatisch afgestemde doelbestandsgrootte 256 MB. Voor tabellen met een grootte tussen 2,56 TB en 10 TB groeit de doelgrootte lineair van 256 MB tot 1 GB. Voor tabellen groter dan 10 TB is de doelbestandsgrootte 1 GB.

Wanneer een tabel incrementeel wordt geschreven, liggen de bestandsgrootten van het doel en het aantal bestanden dicht bij de volgende getallen, op basis van de tabelgrootte. Het aantal bestanden in deze tabel is slechts een voorbeeld. De werkelijke resultaten verschillen, afhankelijk van veel factoren.

Beperk het aantal rijen dat in een gegevensbestand wordt geschreven.

Soms kunnen tabellen met smalle gegevens een fout tegenkomen waarbij het aantal rijen in een bepaald gegevensbestand de ondersteuningslimieten van de Parquet-indeling overschrijdt. Om deze fout te voorkomen, kunt u de configuratie spark.sql.files.maxRecordsPerFile van de SQL-sessie gebruiken om het maximum aantal records op te geven dat naar één bestand voor een tabel moet worden geschreven. Het opgeven van een waarde van nul of een negatieve waarde vertegenwoordigt geen limiet.

U kunt ook de optie maxRecordsPerFile DataFrameWriter gebruiken wanneer u de DataFrame-API's gebruikt om naar een tabel te schrijven. Wanneer maxRecordsPerFile is opgegeven, wordt de waarde van de configuratie spark.sql.files.maxRecordsPerFile van de SQL-sessie genegeerd.

Upgraden naar automatische compressie op de achtergrond

Automatische compressie op de achtergrond is beschikbaar voor beheerde tabellen in Unity Catalog. Automatische compressie op de achtergrond vereist geen voorspellende optimalisatie. Wanneer u een verouderde workload of tabel migreert, gaat u als volgt te werk:

1. Verwijder de Spark-configuratie spark.databricks.delta.autoCompact.enabled (Delta) of spark.databricks.iceberg.autoCompact.enabled (Iceberg) uit de configuratie-instellingen voor clusters of notebooks.
2. Voer ALTER TABLE <table_name> UNSET TBLPROPERTIES (delta.autoOptimize.autoCompact) voor elke tabel (Delta) of ALTER TABLE <table_name> UNSET TBLPROPERTIES (iceberg.autoOptimize.autoCompact) (Iceberg) uit om verouderde instellingen voor automatische compressie te verwijderen.

Nadat u deze verouderde configuraties hebt verwijderd, wordt automatische compactie op de achtergrond automatisch geactiveerd voor alle door Unity Catalog beheerde tabellen.