De serverloze omgeving configureren

Op deze pagina wordt uitgelegd hoe u de serverloze omgeving configureert voor notebooks en taaktaken. Gebruik voor notebooks het deelvenster Omgeving om een basisomgeving te selecteren, afhankelijkheden te installeren, geheugen te configureren en gebruiksbeleid toe te passen. Voor taaktaken configureert u de omgeving wanneer u een taak maakt of bewerkt.

Als u het zijvenster Omgeving wilt uitvouwen, klikt u op de rechts van het notitieblok.

Een basisomgeving selecteren

Een basisomgeving bepaalt de vooraf geïnstalleerde bibliotheken en omgevingsversie die beschikbaar is voor uw serverloze notebook. De basisomgevingselector in het deelvenster Omgevingszijde is de locatie waar u uw omgeving kiest. Zie Serverloze omgevingsversies voor meer informatie over elke omgevingsversie. Databricks adviseert de nieuwste versie te gebruiken om gebruik te maken van de meest actuele notebookfuncties.

De basisomgevingkiezer bevat de volgende opties:

• Standaard: de standaardserverloze basisomgeving met door Databricks geleverde bibliotheken.
• ML (Beta): Een basisomgeving met de Python- en systeempakketten van Databricks Runtime voor Machine Learning vooraf geïnstalleerd. Gebruik deze omgeving om klassieke Databricks Runtime te migreren voor Machine Learning workloads naar serverloze berekeningen. Zie de ML-basisomgeving.
• AI: Een voor AI geoptimaliseerde basisomgeving met vooraf geïnstalleerde ML-bibliotheken (Machine Learning). Deze optie wordt alleen weergegeven wanneer een accelerator (GPU) is geselecteerd.
• Meer: Uitvouwen om extra opties weer te geven:
  • Vorige versies van Standard-, ML- en AI-omgevingen.
  • Aangepast: Geef een aangepaste omgeving op met behulp van een YAML-bestand.
• Werkruimteomgevingen: geeft een lijst weer van alle compatibele basisomgevingen die zijn geconfigureerd voor uw werkruimte door een beheerder.

Een basisomgeving selecteren:

1. Klik in de gebruikersinterface van het notitieblok op het zijvenster Omgeving.
2. Selecteer onder Basisomgeving een omgeving in de vervolgkeuzelijst.
3. Klik op Toepassen.

Afhankelijkheden toevoegen aan het notebook

Omdat serverloos geen ondersteuning biedt voor rekenbeleid of init-scripts, moet u aangepaste afhankelijkheden installeren met behulp van het deelvenster Omgevingszijde . U kunt afhankelijkheden afzonderlijk installeren of een deelbare basisomgeving gebruiken om meerdere afhankelijkheden te installeren.

Azure Databricks slaat de virtuele omgeving van uw notebook op in de cache, zodat afhankelijkheden niet telkens opnieuw worden geïnstalleerd wanneer u een notebook opnieuw opent of weer verdergaat na inactiviteit. Taaktaken die dezelfde afhankelijkheidsset delen, profiteren ook van deze cache binnen een uitvoering.

Een afhankelijkheid afzonderlijk installeren:

1. Klik in de notebookinterface op het zijvenster Omgeving.

2. Klik in de sectie Afhankelijkheden op Afhankelijkheid toevoegen en voer het pad in van de afhankelijkheid in het veld. U kunt een afhankelijkheid opgeven in elke indeling die geldig is in een requirements.txt-bestand . Python wielen of Python projecten (bijvoorbeeld de map met een pyproject.toml of een setup.py) kunnen zich bevinden in de werkruimtebestanden of de Unity Catalog-volumes.

   • Als u een werkruimtebestand gebruikt, moet het pad absoluut zijn en beginnen met /Workspace/.
   • Als u een bestand in een Unity Catalog-volume gebruikt, moet het pad de volgende indeling hebben: /Volumes/<catalog>/<schema>/<volume>/<path>.whl

3. Klik op Apply om de afhankelijkheden te installeren en het Python proces opnieuw te starten.

Als u geïnstalleerde afhankelijkheden wilt weergeven, klikt u op het tabblad Geïnstalleerd in het zijvenster Omgevingen . Open de pip-installatielogboeken voor de notebookomgeving door onderaan het deelvenster op pip-logboeken te klikken.

Een aangepaste omgevingsspecificatie maken

U kunt aangepaste omgevingsspecificaties maken en opnieuw gebruiken.

1. Selecteer in een serverloze notebook een basisomgeving en installeer de gewenste afhankelijkheden.
2. Klik op de knop voor het kebabmenu onder aan het deelvenster Omgeving en klik vervolgens op Omgeving exporteren.
3. Sla de specificatie op als een werkruimtebestand of in een Unity Catalog-volume.

Als u uw aangepaste omgevingsspecificatie in een notebook wilt gebruiken, selecteert u Aangepast in het vervolgkeuzemenu Basisomgeving en gebruikt u vervolgens het om uw YAML-bestand te selecteren.

Algemene hulpprogramma's maken om te delen in uw werkruimte

In dit voorbeeld wordt een hulpprogramma opgeslagen in een werkruimtebestand en geïnstalleerd als een serverloze notebookafhankelijkheid:

1. Maak een map met de volgende structuur. Zorg ervoor dat andere gebruikers leestoegang hebben tot dit pad:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Vul als volgt in pyproject.toml :

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Voeg een functie toe aan het init.py bestand. Voorbeeld:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Klik in de gebruikersinterface van het notebook op het zijvenster Omgeving

5. Klik in de sectie Afhankelijkheden op Afhankelijkheid toevoegen en voer vervolgens het pad van uw hulpprogrammabestand in. Voorbeeld: /Workspace/helper_utils.

6. Klik op Toepassen.

U kunt nu de functie in uw notebook gebruiken:

from helpers import greet
print(greet('world'))

Dit wordt uitgevoerd als:

Hello, world!

AI Runtime gebruiken (serverloze GPU)

Volg deze stappen om AI Runtime te configureren, mogelijk gemaakt door serverloze GPU-rekenkracht, in uw Azure Databricks notebook:

1. Klik in een notebook op de vervolgkeuzelijst compute bovenaan en selecteer serverloze GPU.
2. Klik op het het deelvenster Omgeving te openen.
3. Selecteer A10 in het veld Accelerator .
4. Selecteer onder BasisomgevingStandard voor de standaardomgeving of AI voor de door AI geoptimaliseerde omgeving met vooraf geïnstalleerde ML-bibliotheken (Machine Learning).
5. Klik op Toepassenen bevestig vervolgens dat u AI Runtime wilt toepassen op uw notebookomgeving.

Zie AI Runtime voor meer informatie.

Serverloze rekenkracht met hoog geheugen gebruiken

Als u in uw notebook fouten door geheugentekort tegenkomt, configureer het notebook dan zo dat het meer geheugen gebruikt. Deze instelling voor geheugengrootte verhoogt de grootte van het REPL-geheugen dat wordt gebruikt bij het uitvoeren van code in het notebook. Dit heeft geen invloed op de geheugengrootte van de Spark-sessie. Serverloos gebruik met hoog geheugen heeft een hogere DBU-emissiesnelheid dan standaardgeheugen.

De beschikbare geheugenopties zijn:

• Standaard: 16 GB totaal geheugen.
• Hoog: 32 GB totaal geheugen.

Volg de volgende stappen om de geheugeninstelling van het notitieblok te configureren:

1. Klik in de gebruikersinterface van het notebook op het zijvenster Environment.
2. Onder Geheugen, selecteer Hoog geheugen.
3. Klik op Toepassen.

Deze geheugeninstelling is ook van toepassing op notebooktaaktaken die worden uitgevoerd met behulp van de geheugenvoorkeuren van het notebook. Het bijwerken van de geheugenvoorkeur in het notebook is van invloed op de volgende taakuitvoering.

Een serverloos gebruiksbeleid selecteren

Met serverloos gebruiksbeleid kan uw organisatie aangepaste tags toepassen op serverloos gebruik voor gedetailleerde factureringsvermelding.

Als uw werkruimte gebruikmaakt van serverloos gebruiksbeleid, selecteert u het beleid dat u op het notebook wilt toepassen. Als een gebruiker is toegewezen aan slechts één serverloos gebruiksbeleid, is dat beleid standaard van toepassing.

Nadat u verbinding hebt gemaakt met serverloze berekeningen, selecteert u een beleid in het deelvenster Omgevingszijde :

1. Klik in de gebruikersinterface van het notitieblok op het zijvenster Omgeving.
2. Selecteer onder Serverloos gebruiksbeleid het serverloze gebruiksbeleid dat u wilt toepassen op uw notitieblok.
3. Klik op Toepassen.

Nadat het beleid is toegepast, neemt al het notebookgebruik de aangepaste tags van het beleid over.

De omgeving opnemen in de export van bronbestanden

Voor Python notebooks kunt u Include in het exporteren van bronbestanden inschakelen in de omgevingsconfiguratie. Wanneer deze functie is ingeschakeld, worden de basis-omgeving en afhankelijkheden opgeslagen in de indeling PEP 723 in bronbestandsexporten. Hierdoor blijft de omgevingsconfiguratie behouden wanneer notebooks worden opgeslagen in Git-mappen of worden gedownload als bronbestanden.

Een notebook met Standard v5 exporteert bijvoorbeeld de omgevingsconfiguratie als inlinemetagegevens boven aan het bestand:

# Databricks notebook source
# /// script
# [tool.databricks.environment]
# environment_version = "5"
# ///
print("Hello World!")

De omgevingsafhankelijkheden opnieuw instellen

Als uw notebook is verbonden met serverloze berekeningen, slaat Databricks automatisch de inhoud van de virtuele omgeving van het notebook in de cache op. Dit betekent dat u in het algemeen de Python afhankelijkheden die zijn opgegeven in het deelvenster Omgeving niet opnieuw hoeft te installeren wanneer u een bestaand notitieblok opent, zelfs niet als de verbinding is verbroken vanwege inactiviteit.

Python cacheopslag van virtuele omgevingen is ook van toepassing op taken. Wanneer een taak wordt uitgevoerd, wordt elke taak die dezelfde set afhankelijkheden deelt als een voltooide taak in dezelfde uitvoering sneller voltooid, omdat de cache al de vereiste afhankelijkheden bevat.

Als u de omgevingscache wilt wissen en een nieuwe installatie wilt uitvoeren van de afhankelijkheden die zijn opgegeven in het deelvenster Omgeving van een notebook dat is gekoppeld aan serverloze berekening, klikt u op de pijl naast Toepassen en klikt u vervolgens op Standaardwaarden herstellen.

Als u pakketten installeert die het kernnotebook of de Apache Spark-omgeving verbreken of wijzigen, verwijdert u de offending-pakketten en stelt u de omgeving opnieuw in. Bij het starten van een nieuwe sessie wordt de hele omgevingscache niet gewist.

Omgeving configureren voor taaktaken

Elke taaktaak wordt uitgevoerd in een geïsoleerde omgeving met een basisomgeving en eventuele extra bibliotheken die u opgeeft. De basisomgeving stelt de Python- en Scala-runtimeversie en vooraf geïnstalleerde bibliotheken in. Taken nemen de standaardset geïnstalleerde bibliotheken over van de omgevingsversie. Om te zien wat is inbegrepen, raadpleegt u de sectie Installed Python libraries of Installed Java and Scala libraries in de omgevingsversie die u gebruikt.

U kunt de vooraf geïnstalleerde bibliotheken aanvullen met bibliotheken uit werkruimtebestanden, Unity Catalog-volumes of openbare pakketopslagplaatsen. Alleen afhankelijkheden die vereist zijn voor de taak, worden tijdens runtime geïnstalleerd.

De omgeving configureren op taaktype

Hoe u omgevingen in een taak configureert, is afhankelijk van het taaktype:

Notebook-taken

Notebook-taken zijn standaard ingesteld op Notebook Environment, die gebruikmaakt van de eigen geconfigureerde basisomgeving en afhankelijkheden van het notebook. U kunt dit negeren met een omgevingsvariabele op taakniveau.

Een omgeving op taakniveau configureren:

1. Klik in de taakconfiguratie op de vervolgkeuzelijst Omgeving en bibliotheken .
2. Klik in de takenomgeving op het potloodpictogram naast Standaard of klik op + Nieuwe takenomgeving toevoegen.
3. Selecteer in het dialoogvenster Omgeving configureren de optie in de vervolgkeuzelijst Basisomgeving :
   • Databricks-omgevingen: Azure Databricks beschikbare opties, zoals Standard en ML.
   • Werkruimteomgevingen: aangepaste omgevingen die zijn geconfigureerd door uw werkruimtebeheerder. Zie Basisomgevingen voor werkruimten beheren.
   • Meer: Vorige versies en Aangepast (geef een YAML-bestand op).
4. Voeg onder Afhankelijkheden eventuele extra bibliotheken toe. U kunt een bibliotheek opgeven in elke indeling die geldig is voor een requirements.txt-bestand, of een absoluut pad naar een bestand in de werkruimte of een Unity Catalog-volume gebruiken.
5. Klik op Bevestigen.

Python script- en Python wieltaken

voor Python script- en Python wieltaken moet een omgeving worden geconfigureerd.

1. Klik in de taakconfiguratie onder Omgeving en bibliotheken op + Afhankelijkheid toevoegen.
2. Selecteer in het dialoogvenster Omgeving configureren de optie in de vervolgkeuzelijst Basisomgeving :
   • Databricks-omgevingen: Azure Databricks beschikbare opties, zoals Standard en ML.
   • Werkruimteomgevingen: aangepaste omgevingen die zijn geconfigureerd door uw werkruimtebeheerder. Zie Basisomgevingen voor werkruimten beheren.
   • Meer: Vorige versies en Aangepast (geef een YAML-bestand op).
3. Voeg onder Afhankelijkheden eventuele extra bibliotheken toe.
4. Klik op Bevestigen.

Dbt-taken

DBT-taken maken gebruik van een omgeving op taakniveau voor bibliotheekconfiguratie.

Een omgeving op taakniveau configureren:

1. Klik in de taakconfiguratie op de vervolgkeuzelijst Omgeving en bibliotheken .
2. Klik in de takenomgeving op het potloodpictogram naast een bestaande omgeving of klik op + Nieuwe takenomgeving toevoegen.
3. Selecteer in het dialoogvenster Omgeving configureren de optie in de vervolgkeuzelijst Basisomgeving :
   • Databricks-omgevingen: Azure Databricks beschikbare opties, zoals Standard en ML.
   • Werkruimteomgevingen: aangepaste omgevingen die zijn geconfigureerd door uw werkruimtebeheerder. Zie Basisomgevingen voor werkruimten beheren.
   • Meer: Vorige versies en Aangepast (geef een YAML-bestand op).
4. Voeg onder Afhankelijkheden eventuele extra bibliotheken toe. U kunt een bibliotheek opgeven in elke indeling die geldig is voor een requirements.txt-bestand, of een absoluut pad naar een bestand in de werkruimte of een Unity Catalog-volume gebruiken.
5. Klik op Bevestigen.

JAR-taken

Basisomgevingen voor werkruimten worden niet ondersteund voor JAR-taken. De omgeving voor een JAR-taak configureren:

1. Klik in de taakconfiguratie onder Omgeving en bibliotheken op + JAR-afhankelijkheid toevoegen.
2. In het dialoogvenster Omgeving configureren :
   • Voer desgewenst een pad in naar een YAML-bestand in het veld Basisomgeving .
   • Selecteer een omgevingsversie in de vervolgkeuzelijst Omgevingsversie .
   • Voeg onder JAR-afhankelijkheden de paden toe aan uw JAR-bestanden.
3. Klik op Bevestigen.

Zie Een aangepaste omgevingsspecificatie maken om een aangepaste, op YAML gebaseerde basisomgeving te maken.

Omgevings- en rekencompatibiliteit

De basisomgeving die u selecteert, moet compatibel zijn met het rekentype van de taak. Een omgeving die is gebouwd voor GPU-rekenkracht is bijvoorbeeld niet compatibel met CPU-rekenkracht. In de takeninterface zijn incompatibele omgevingen niet beschikbaar in het vervolgkeuzemenu voor de basisomgeving.

Wanneer u een notebooktaak configureert, kunnen het rekentype (CPU of GPU) en de basisomgeving elk afkomstig zijn van de taakinstellingen of de notebookinstellingen.

• Als u een hardwareversneller (GPU) instelt op taakniveau, moet u ook een basisomgeving op taakniveau selecteren. U kunt de notebookomgeving niet gebruiken met een accelerator op taakniveau.
• Als u taken hebt die verwijzen naar een notebook en u het computetype van het notebook waarnaar wordt verwezen bijwerkt (bijvoorbeeld van CPU naar GPU), kunnen bestaande taken incompatibel worden met hun geconfigureerde omgeving. Controleer de omgevingsinstellingen van uw taak nadat u de rekenconfiguratie van het notebook hebt gewijzigd.
• Voor API-gebruikers: als u de basisomgeving op taakniveau instelt, maar het compute-type in het notebook is gedefinieerd, valideert Azure Databricks de compatibiliteit tijdens de uitvoering, niet wanneer de taak wordt gemaakt. Als de configuratie niet compatibel is, mislukt de uitvoering met een fout.