Voorbeelden van AI Runtime CLI

Important

Deze functie bevindt zich in de bètaversie. Werkruimtebeheerders kunnen de toegang tot deze functie beheren vanaf de pagina Previews . Zie Azure Databricks previews beheren.

De volgende voorbeelden zijn volledige end-to-end workloads die u via de air-CLI indient met air run -f train.yaml. Elk toont een echt multi-GPU-patroon op H100 GPU's, waaronder de YAML-workload, bootstrap-opdrachten en code. Begin met de snelstartgids als u niet eerder een run hebt ingediend.

Example Description
LLM met meerdere knooppunten afstemmen met FSDP Gesuperviseerde finetuning van Llama-3.1-8B op 16 H100-GPU’s (2 nodes) met torchrun en PyTorch Fully Sharded Data Parallel (FSDP). Logboeken naar MLflow en controlepunten naar een Unity Catalog-volume.
Gedistribueerde training met Ray Train Gedistribueerd dataparallel finetunen met de TorchTrainer van Ray Train op 8 H100-GPU’s op één knooppunt, met één worker per GPU.
Batchinferentie met Ray Data en vLLM Offline LLM-batchdeductie met Ray Data en vLLM over 8 H100 GPU's op één knooppunt, waarbij één vLLM-replica per GPU wordt uitgevoerd en resultaten worden geschreven naar een Unity Catalog-volume als Parquet.