Machine Learning sur Azure Databricks

Créez, déployez et gérez des applications Machine Learning sur Azure Databricks. La plateforme intégrée unifie l’intégralité du cycle de vie ML, de la préparation des données à la surveillance de la production.

Vous recherchez de l’IA générative et des agents d’IA ? Voir Créer des agents IA sur Azure Databricks.

Commencez

Essayez un guide de démarrage rapide, préparez vos données ou générez un modèle à faible code.

Guide Description
Prise en main : Créer votre premier modèle Machine Learning sur Databricks Créez un modèle de classification simple avec scikit-learn de bout en bout.
AutoML Créez automatiquement des modèles de haute qualité avec un code minimal à l’aide de l’ingénierie automatisée des fonctionnalités et du réglage des hyperparamètres.
Charger des données pour le Machine Learning et le Deep Learning Chargez et préparez des données pour les flux de travail ML et Deep Learning.
Entraîner des modèles de recommandation Entraîner un modèle de recommandation avec l’architecture à double tour ou DLRM.

Entraîner des modèles Machine Learning classiques

Créez des modèles Machine Learning avec des outils automatisés et des environnements de développement collaboratif.

Feature Description
Databricks Runtime pour ML Clusters préconfigurés avec scikit-learn, XGBoost, MLflow et d’autres bibliothèques ML, ainsi que la prise en charge des frameworks d’apprentissage profond.
Suivi MLflow Suivez les expériences, comparez les performances du modèle et gérez le cycle de vie complet du développement de modèle.
Ingénierie des caractéristiques Créez, gérez et servez des fonctionnalités avec des pipelines de données automatisés et la découverte des fonctionnalités.
Notebooks de Databricks Environnement de développement collaboratif avec prise en charge de Python, R, Scala et SQL pour les flux de travail de ML.

Entraîner des modèles d’apprentissage profond

Utilisez des infrastructures de calcul managées et intégrées pour développer des modèles d’apprentissage profond.

Feature Description
Formation distribuée Exemples d’apprentissage profond distribué à l’aide de Ray, TorchDistributor et DeepSpeed.
Runtime IA Calcul GPU sans serveur pour des charges de travail personnalisées d’entraînement et d’inférence en apprentissage profond.
Bonnes pratiques pour DL Conseils pour le choix de l’infrastructure, le chargement des données, la mise à l’échelle distribuée et la gestion du cycle de vie du modèle d’apprentissage profond.
PyTorch Entraînement à nœud unique et distribué à l’aide de PyTorch.

Déployer et servir des modèles

Déployez des modèles en production avec des points de terminaison évolutifs, une inférence en temps réel et une surveillance de niveau entreprise.

Feature Description
Service de modèle Déployez des modèles personnalisés et des llMs en tant que points de terminaison REST évolutifs avec mise à l’échelle automatique et prise en charge du GPU.
Passerelle IA Régir et surveiller l’accès aux modèles servis sur Azure Databricks avec le suivi de l’utilisation, la journalisation des charges utiles et les contrôles de sécurité.
Modèles externes Intégrez des modèles tiers hébergés en dehors de Databricks avec une gouvernance et une supervision unifiées.
API de modèle Foundation Accédez aux modèles ouverts de pointe et interrogez-les, hébergés par Databricks.

Surveiller et régir les systèmes ML

Vérifiez la qualité du modèle, l’intégrité des données et la conformité avec des outils de supervision et de gouvernance complets.

Feature Description
Unity Catalogue Gérer les données, les caractéristiques, les modèles et les fonctions avec un contrôle d’accès unifié, une traçabilité de l'origine et une découverte.
Profilage des données Surveillez la qualité des données, les performances du modèle et la dérive de prédiction avec des alertes automatisées et une analyse de la cause racine.
Détection des anomalies Surveillez l’actualisation et l’exhaustivité des données au niveau du catalogue.
MLflow pour les modèles Suivez les expériences, gérez les modèles dans le catalogue Unity, déployez et évaluez des modèles Machine Learning tout au long du cycle de vie du développement.

Production des flux de travail ML

Mettez à l’échelle les opérations de Machine Learning avec des workflows automatisés, l’intégration CI/CD et des pipelines prêts pour la production.

Feature Description
Modèles dans Unity Catalog Utilisez le registre de modèles dans le catalogue Unity pour la gouvernance centralisée et pour gérer le cycle de vie du modèle, y compris les déploiements.
Travaux Lakeflow Créez des flux de travail automatisés et des pipelines ETL prêts pour la production pour le traitement des données ML.
Ray sur Databricks Mettez à l’échelle des charges de travail ML avec l’informatique distribuée pour l’entraînement et l’inférence de modèles à grande échelle.
Flux de travail MLOps Implémentez mlOps de bout en bout avec des pipelines de formation, de test et de déploiement automatisés.
  • Last updated on