Verbinding maken met AI Runtime

Belangrijk

AI Runtime voor taken met één knooppunt bevindt zich in openbare preview. De gedistribueerde trainings-API voor workloads met meerdere GPU's blijft bèta.

Maak verbinding met AI Runtime vanuit interactieve notebooks, geplande taken, de Jobs-API en Databricks Asset Bundles. Het koppelen van een notebook aan AI Runtime is de primaire manier om trainings- en afstemmingsworkloads uit te voeren en u kunt dezelfde notebooks plannen als terugkerende taken of deze automatiseren in implementatiepijplijnen.

Interactief (Notebooks)

Dit is de primaire manier om AI Runtime te gebruiken. Uw notebook verbinden en de omgeving configureren:

  1. Klik in een notebook op de vervolgkeuzelijst compute bovenaan en selecteer serverloze GPU.
  2. Klik op het pictogram Omgeving om het deelvenster Omgeving te openen.
  3. Selecteer een accelerator in het veld Accelerator . Selecteer 8xH100 voor gedistribueerde trainingsworkloads. Zie Hardwareopties voor hulp bij het kiezen van een accelerator.
  4. Selecteer Standard v5 of Standard v4 voor de Standard-omgeving of AI v5 of AI v4 voor de AI-omgeving in het veld Basisomgeving .
  5. Klik op Toepassenen bevestig vervolgens dat u de AI Runtime wilt toepassen op uw notebookomgeving.

Opmerking

De verbinding met uw berekening wordt automatisch beëindigd na 60 minuten inactiviteit.

Aanbeveling

Voor bewerkingen waarvoor geen GPU's zijn vereist (bijvoorbeeld het klonen van een Git-opslagplaats, het converteren van gegevensindelingen of verkennende gegevensanalyse), koppelt u uw notebook aan een CPU-cluster om GPU-resources te behouden.

Verbinding maken vanuit IDE-terminal

U kunt rechtstreeks vanuit een terminal in uw IDE verbinding maken met AI Runtime op serverloze GPU-berekeningen via een SSH-tunnel met behulp van Databricks SSH Tunnel.

Als u verbinding wilt maken met AI Runtime, voert u de databricks ssh connect opdracht uit met de --accelerator optie vanuit een terminal in uw IDE. Er is geen afzonderlijke installatiestap vereist. Zie de opdrachtgroep voor meer informatie over de opdrachtssh.

databricks ssh connect --accelerator=GPU_1xA10

Gebruik de --ide optie om verbinding te maken en de sessie te starten in Visual Studio Code of Cursor. De CLI opent een IDE-venster dat verwijst naar de map met de basiswerkruimte.

databricks ssh connect --ide=vscode

Zie Verbinding maken met Databricks met behulp van een SSH-tunnel voor meer informatie over het instellen, openen van projecten en het uitvoeren van code.

Werkopdrachten (Gepland)

U kunt notebooks die AI Runtime gebruiken plannen als terugkerende jobs. Zie Geplande notebooktaken maken en beheren voor meer informatie.

Nadat u het notitieblok hebt geopend dat u wilt gebruiken:

  1. Selecteer de knop Planning rechtsboven.
  2. Selecteer Planning toevoegen.
  3. Vul het formulier Nieuw schema in met de taaknaam, Planning en Compute.
  4. Klik op Creëren.

U kunt ook taken maken en plannen vanuit de gebruikersinterface voor taken en pijplijnen . Zie Een nieuwe taak maken voor stapsgewijze instructies.

Opmerking

Het toevoegen van afhankelijkheden met behulp van het deelvenster Omgevingen wordt niet ondersteund voor geplande AI Runtime-taken. Afhankelijkheden moeten programmatisch worden geïnstalleerd in uw notebook (bijvoorbeeld %pip install). Automatisch herstel wordt niet ondersteund. Als uw taak mislukt vanwege incompatibele pakketten, moet u handmatig herstellen en opnieuw uitvoeren.

Voor workloads die de maximale runtime van zeven dagen kunnen overschrijden, implementeert u handmatige controlepunten om hervatting toe te staan. We raden u aan Unity Catalog-volumes te gebruiken via UCVolumeWriter en UCVolumeReader uit serverless_gpu.data. Zie Modelcontrolepunten.

Jobs API en Databricks Asset Bundles

U kunt programmatisch AI Runtime-taken maken en beheren met behulp van de Databricks Jobs-API of Databricks Asset Bundles. Configureer het rekentype als serverloze GPU in uw taak of bundeldefinitie om implementatiepijplijnen te automatiseren.

In het volgende voorbeeld ziet u een Databricks Asset Bundle-configuratie voor een AI Runtime-taak met behulp van de Standard-omgeving:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '4'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Als u de Databricks AI-omgeving wilt gebruiken in plaats van de Standard-omgeving, stelt u base_environment in op de AI-omgevingsidentifier (bijvoorbeeld databricks_ai_v5 voor AI v5) in de omgeving spec en verwijst u ernaar vanuit de environment_key van de taak:

Belangrijk

Het selecteren van een Databricks AI-omgeving als een werkruimtebasisomgeving bevindt zich in bèta en vereist dat een werkruimtebeheerder zich aanmeldt. Zie Versie voor serverless GPU-computing (AI Runtime).

resources:
  jobs:
    sample_job:
      name: sample_job_aiv5_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv5
          spec:
            base_environment: databricks_ai_v5

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv5
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on