Machine learning op Azure Databricks

Machine Learning-toepassingen bouwen, implementeren en beheren op Azure Databricks. Het geïntegreerde platform integreert de volledige ML-levenscyclus van gegevensvoorbereiding tot productiebewaking.

Zoekt u generatieve AI en AI-agenten? Zie AI-agenten bouwen op Azure Databricks.

Get started

Probeer een quickstart, bereid uw gegevens voor of bouw een model met weinig code.

Guide Description
Aan de slag: Uw eerste Machine Learning-model bouwen op Databricks Bouw van begin tot eind een eenvoudig classificatiemodel met scikit-learn.
AutoML Bouw automatisch hoogwaardige modellen met minimale code met behulp van geautomatiseerde functie-engineering en hyperparameterafstemming.
Gegevens laden voor machine learning en deep learning Gegevens laden en voorbereiden voor ML- en Deep Learning-werkstromen.
Aanbevelingsmodellen trainen Train een aanbevelingsmodel met de twee-toren- of DLRM-architectuur.

Klassieke machine learning-modellen trainen

Machine learning-modellen maken met geautomatiseerde hulpprogramma's en ontwikkelomgevingen voor samenwerking.

Feature Description
Databricks Runtime voor ML Vooraf geconfigureerde clusters met scikit-learn, XGBoost, MLflow en andere ML-bibliotheken, plus ondersteuning voor deep learning-frameworks.
MLflow-tracering Houd experimenten bij, vergelijk de modelprestaties en beheer de volledige levenscyclus van modelontwikkeling.
Kenmerk-engineering Functies maken, beheren en leveren met geautomatiseerde gegevenspijplijnen en functiedetectie.
Databricks-notebooks Ontwikkelomgeving voor samenwerking met ondersteuning voor Python-, R-, Scala- en SQL-werkstromen voor ML.

Deep Learning-modellen trainen

Gebruik beheerde compute en ingebouwde frameworks om deep learning-modellen te ontwikkelen.

Feature Description
Gedistribueerde training Voorbeelden van gedistribueerde deep learning met behulp van Ray, TorchDistributor en DeepSpeed.
AI Runtime Serverloze GPU-rekenkracht voor aangepaste deep learning-training en deductieworkloads.
Aanbevolen procedures voor DL Richtlijnen voor frameworkkeuze, het laden van gegevens, gedistribueerd schalen en het beheren van de levenscyclus van het Deep Learning-model.
PyTorch Training met één knooppunt en gedistribueerde training met behulp van PyTorch.

Modellen implementeren en bedienen

Implementeer modellen in productie met schaalbare eindpunten, realtime deductie en bewaking op bedrijfsniveau.

Feature Description
Model distributie Implementeer aangepaste modellen en LLM's als schaalbare REST-eindpunten met automatische schaalaanpassing en GPU-ondersteuning.
AI-gateway Beheer en bewaak de toegang tot modellen die worden geleverd op Azure Databricks met het bijhouden van gebruik, logboekregistratie van nettoladingen en beveiligingscontroles.
Externe modellen Integreer modellen van derden die buiten Databricks worden gehost met geïntegreerde governance en bewaking.
Foundation model API's Toegang krijgen tot en query's uitvoeren op state-of-the-art open modellen die worden gehost door Databricks.

ML-systemen bewaken en beheren

Zorg voor modelkwaliteit, gegevensintegriteit en naleving van uitgebreide bewakings- en governancehulpprogramma's.

Feature Description
Unity-catalogus Beheer gegevens, functies, modellen en functies met geïntegreerd toegangsbeheer, herkomsttracering en detectie.
Gegevensprofilering Bewaak de gegevenskwaliteit, modelprestaties en voorspellingsdrift met geautomatiseerde waarschuwingen en analyse van hoofdoorzaak.
Anomaliedetectie Controleer de versheid en volledigheid van gegevens op catalogusniveau.
MLflow voor modellen Volg experimenten, beheer modellen in Unity Catalog, implementeer en evalueer machine learning-modellen gedurende de ontwikkelingslevenscyclus.

ML-werkstromen produceren

Machine learning-bewerkingen schalen met geautomatiseerde werkstromen, CI/CD-integratie en pijplijnen die gereed zijn voor productie.

Feature Description
Modellen in Unity Catalog Gebruik het modelregister in Unity Catalog voor gecentraliseerd beheer en om de levenscyclus van het model te beheren, inclusief implementaties.
Lakeflow-banen Bouw geautomatiseerde werkstromen en ETL-pijplijnen die gereed zijn voor productie voor ML-gegevensverwerking.
Ray op Databricks ML-werklasten schalen met gedistribueerde computing voor grootschalige modeltraining en inference.
MLOps-werkstromen Implementeer end-to-end MLOps met geautomatiseerde trainings-, test- en implementatiepijplijnen.
  • Last updated on