Déployer une application Databricks

Après avoir créé et développé votre application Azure Databricks, déployez-la pour la rendre accessible dans l’espace de travail Azure Databricks. Le déploiement génère votre application, installe des dépendances et l’exécute à l’aide de la configuration définie dans vos fichiers projet. Vous pouvez déployer des applications à l’aide de l’interface utilisateur Azure Databricks ou de l’interface CLI Databricks.

Logique de déploiement

Databricks Apps prend en charge le déploiement d’applications qui utilisent Python, Node.jsou une combinaison des deux. Cela permet des architectures flexibles, telles qu’un front-end Node.js avec un serveur principal Python.

Pendant le déploiement, le processus de génération recherche un package.json fichier à la racine du répertoire de votre application pour déterminer si Node.js est utilisé. S'il est présent, il inclut les étapes de construction spécifiques à Node.js, ainsi que les étapes Python. La logique de déploiement suit ce modèle :

S’il package.json est présent :

1. Exécutez npm install
2. Installez les dépendances Python :
   • Si requirements.txt existe, lancez pip install -r requirements.txt
   • Si requirements.txt n’existe pas et que pyproject.toml et uv.lock existent, exécutez uv sync pour installer des dépendances.
3. Exécuter npm run build (si un build script est défini dans package.json)
4. Exécutez la commande spécifiée dans app.yaml, ou npm run start si aucune commande n’est spécifiée

Si package.json n’est pas présent :

1. Installez les dépendances Python :
   • Si requirements.txt existe, lancez pip install -r requirements.txt
   • Si requirements.txt n’existe pas et que pyproject.toml et uv.lock existent, exécutez uv sync pour installer des dépendances.
2. Exécutez la commande spécifiée dans app.yaml, ou python <my-app>.py si aucune commande n’est spécifiée

Préparer le déploiement

Avant de déployer votre application, vérifiez que votre projet inclut les composants nécessaires :

• Script principal : votre fichier de point d’entrée, tel que app.py ou app.js.
• Fichier facultatif app.yaml : si votre application nécessite une commande personnalisée ou des variables d’environnement, incluez un app.yaml fichier pour configurer l’exécution. Consultez Configurer l’exécution de l’application Databricks avec app.yaml.
• Dépendances : vérifiez que toutes les dépendances sont disponibles. Consultez Gérer les dépendances pour une application Databricks.
• Valeurs de secrets ou d’environnement : si vous utilisez la env section dans app.yaml, vérifiez que les secrets référencés ou les sources externes sont correctement configurés et accessibles. Consultez Ajouter des ressources à une application Databricks.

En outre, assurez-vous que le service principal de l'application a accès au dossier de code source.

Choisir une source de déploiement

Vous pouvez déployer des applications Databricks à partir des sources suivantes :

• Dossier de l’espace de travail : chargez des fichiers d’application dans un dossier d’espace de travail et déployez-y. Il s’agit de la méthode de déploiement standard. Consultez Déployer à partir d’un dossier d’espace de travail.
• Dépôt Git : configurez un référentiel Git pour une application et déployez directement sans charger de fichiers dans l’espace de travail. L’application lit le code de la référence Git configurée (branche, balise ou validation) chaque fois que vous déployez. Consultez Déployer à partir d’un dépôt Git.

Vous pouvez basculer entre l’espace de travail et les sources Git pour la même application à tout moment. Consultez Mettre à jour ou redéployer l’application.

Déployer l’application

Les sections suivantes décrivent comment déployer à partir d’un dossier d’espace de travail ou directement à partir d’un dépôt Git.

Déployer à partir d’un dossier d’espace de travail

Interface utilisateur Databricks

Pour déployer une application à partir de l’interface utilisateur Azure Databricks :

1. Chargez les fichiers d’application dans votre espace de travail Azure Databricks. Pour obtenir des instructions, consultez Importer un fichier.
2. Dans votre espace de travail Databricks, cliquez sur Sélecteur d’application et sélectionnez Databricks Apps.
3. Sélectionnez votre application dans la colonne Nom .
4. Cliquez sur Déployer et sélectionnez le dossier dans votre espace de travail où vous avez chargé les fichiers d’application.
5. Cliquez sur Sélectionner, puis Déployer.

Interface CLI de Databricks

Pour déployer une application à l’aide de l’interface CLI :

1. Ouvrez un terminal et accédez au répertoire qui contient vos fichiers d’application.

2. Chargez vos fichiers d’application dans l’espace de travail Azure Databricks à l’aide de la commande sync. Remplacez le chemin d’accès par l’emplacement de l’espace de travail où vous souhaitez charger les fichiers.

   databricks sync --watch . /Workspace/Users/my-email@org.com/my-app
   

   L’indicateur --watch conserve le processus de synchronisation en cours d’exécution et charge automatiquement les modifications lorsque vous modifiez des fichiers localement. Pour exclure des fichiers ou répertoires spécifiques de la synchronisation, ajoutez-les à un .gitignore fichier dans votre répertoire d’application local. Les fichiers courants à exclure sont node_modules/, , .env__pycache__/, .DS_Storeet tous les fichiers de données volumineux ou artefacts de build.

3. Vérifiez le chargement en affichant les fichiers dans votre espace de travail. Cliquez sur Dans le sélecteur d’applications >Analytique et IA, cliquez ensuite sur Espace de travail, puis accédez au répertoire que vous avez créé pour votre application.

4. Déployez l’application en exécutant la commande suivante. Remplacez le nom de l’application et le chemin du code source par vos valeurs.

   databricks apps deploy my-app-name \
      --source-code-path /Workspace/Users/my-email@org.com/my-app
   

   L’interface CLI affiche la progression du déploiement et confirme l’exécution de l’application.

Déployer à partir d’un référentiel Git

Pour déployer une application à partir d’un référentiel Git, ajoutez le référentiel au niveau de l’application, puis spécifiez la référence Git lorsque vous la déployez. Votre référentiel Git doit contenir les fichiers d’application, notamment app.yamlles dépendances et le point d’entrée. Tous les principaux fournisseurs Git sont pris en charge, notamment GitHub, GitLab et Bitbucket. Vous pouvez également déployer des applications sauvegardées par Git à l’aide de l’interface utilisateur, de l’interface CLI, de l’API ou des bundles Automation déclaratifs.

Interface utilisateur Databricks

Pour configurer et déployer une application à partir de Git :

1. Chargez vos fichiers d’application dans un dépôt Git.
2. Dans votre espace de travail Databricks, cliquez sur Sélecteur d’application et sélectionnez Databricks Apps.
3. Sélectionnez une application existante à modifier, ou cliquez sur + Créerune application, puis créez une application personnalisée. Consultez Créer une application Databricks personnalisée.
4. Dans l’étape Configurer Git , entrez l’URL du dépôt Git (par exemple https://github.com/org/repo) et sélectionnez un fournisseur Git.
5. Pour une nouvelle application, entrez la référence Git (branche, balise ou validation) et, pour GitHub référentiels, activez éventuellement Auto deploy on push events. Consultez Activer les déploiements Git automatiques.
6. Cliquez sur Créer une application ou Enregistrer pour revenir à la page vue d’ensemble de l’application.
7. Pour les dépôts privés, le principal de service de l’application doit avoir des informations d’identification Git configurées. Dans la page vue d’ensemble de l’application, cliquez sur Configurer les informations d’identification Git. Vous devez disposer CAN MANAGE d’autorisations sur l’application pour ajouter des informations d’identification Git. Les dépôts publics ne nécessitent pas d’informations d’identification Git. Pour obtenir des instructions pour chaque fournisseur, consultez Connecter votre fournisseur Git à Databricks.

Ensuite, déployez l’application :

1. Dans la page vue d’ensemble de l’application, cliquez sur Déployer.
2. Sélectionnez Depuis Git.
3. Pour référence Git, entrez le nom de la branche, la balise ou la validation SHA (par exemple, main, v1.0.0ou un hachage de validation).
4. Pour le Reference type, spécifiez le type de référence, tel qu’une branche, un tag ou un commit.
5. (Facultatif) Pour le chemin du code source, entrez un chemin d’accès à un répertoire spécifique dans le référentiel. L’application traite ce répertoire comme répertoire de niveau supérieur et ne peut pas accéder aux fichiers en dehors de celui-ci. Si vous ne spécifiez pas de chemin d’accès, Databricks utilise la racine du référentiel.
6. (Facultatif) Pour déployer automatiquement à chaque commit sur la branche, activez Déploiement automatique lors des pushs. Vous devez définir une branche à surveiller. Si vous le souhaitez, vous pouvez inclure un chemin de code source pour définir un chemin autre que la racine du référentiel. Consultez Activer les déploiements Git automatiques.
7. Cliquez sur Déployer.

Interface CLI de Databricks

Pour déployer une application à partir de Git à l’aide de l’interface CLI :

1. Chargez vos fichiers d’application dans un dépôt Git.

2. Configurez le référentiel Git sur l’application lorsque vous créez l’application ou ajoutez-la à une application existante. Les fournisseurs pris en charge incluent gitHub, gitHubEnterprise, gitLab, gitLabEnterpriseEdition, bitbucketCloud, bitbucketServer, azureDevOpsServices, et awsCodeCommit.

   Pour créer une application avec un référentiel Git configuré, utilisez la commande create :

   databricks apps create my-app \
      --json '{"git_repository": {"url": "https://github.com/org/repo", "provider": "gitHub"}}'
   

   Pour ajouter ou mettre à jour un référentiel Git sur une application existante, utilisez la commande create-update :

   databricks apps create-update my-app \
      --json '{"update_mask": "git_repository", "git_repository": {"url": "https://github.com/org/repo", "provider": "gitHub"}}'
   

3. Pour les référentiels privés, configurez des identifiants Git pour le principal du service de l’application. Vous devez disposer CAN MANAGE d’autorisations sur l’application pour ajouter des informations d’identification Git. Les dépôts publics ne nécessitent pas d’informations d’identification Git.

   Pour ajouter des informations d’identification Git au principal de service de l’application à l’aide de l’interface CLI, exécutez :

   databricks git-credentials create --json '{
     "git_provider": "gitHub",
     "git_email": "your-email@example.com",
     "personal_access_token": "YOUR_TOKEN",
     "principal_id": YOUR_SP_ID,
     "name": "GitHub credentials for SP"
   }'
   

   Remplacez YOUR_SP_ID par l’ID du principal de service de l’application. Pour obtenir des instructions pour obtenir un jeton d’accès personnel pour chaque fournisseur, consultez Connecter votre fournisseur Git à Databricks.

4. Déployez l’application en spécifiant la référence Git. Vous pouvez spécifier un branch, tagou commit (ceux-ci sont mutuellement exclusifs). Si vous le souhaitez, incluez source_code_path pour permettre le déploiement à partir d’un sous-répertoire du référentiel.

   databricks apps deploy my-app \
      --json '{"git_source": {"branch": "main"}}'
   

   Pour déployer un tag ou un commit spécifique :

   databricks apps deploy my-app \
      --json '{"git_source": {"tag": "v1.0.0"}}'
   

   databricks apps deploy my-app \
      --json '{"git_source": {"commit": "abc123def456"}}'
   

   Pour effectuer un déploiement à partir d’un sous-répertoire dans le référentiel :

   databricks apps deploy my-app \
      --json '{"git_source": {"branch": "main", "source_code_path": "apps/my-app"}}'
   

   L’interface CLI affiche la progression du déploiement et confirme l’exécution de l’application.

Pour les références de branche ou de balise, Azure Databricks déploie le commit le plus récent de cette branche ou balise. Pour les références SHA de commit, Azure Databricks déploie toujours ce commit spécifique. Si les informations d’identification Git du principal de service ne sont pas valides ou ont expiré, le déploiement échoue.

Activer les déploiements Git automatiques

Lorsque vous activez les déploiements automatiques, Azure Databricks crée un webhook sur votre référentiel GitHub et redéploie votre application chaque fois que la branche configurée reçoit une nouvelle validation. Votre application déployée reste synchronisée avec votre référentiel sans aucune procédure manuelle. Les dépôts sont limités à 20 webhooks (250 pour GitHub Entreprise).

Les déploiements automatiques nécessitent la configuration suivante :

• L’application Azure Databricks GitHub doit être installée sur le référentiel.
• Le référentiel doit être privé. Databricks ne prend pas en charge les déploiements automatiques à partir de dépôts publics.
• Le principal de service de l’application doit disposer d’informations d’identification Git permettant d’accéder au référentiel. Consultez Connecter votre fournisseur Git à Databricks.

Pour activer les déploiements automatiques, configurez GitHub en tant que fournisseur Git et activez Auto deploy on push events. Vous pouvez effectuer cette opération à l’un des emplacements suivants :

• L’étape Configurer Git de l’assistant de création d’application personnalisée. Consultez Créer une application Databricks personnalisée.
• Badge de déploiement automatique dans une application existante ou en reconfigurant les paramètres de l’application. Suivez les étapes décrites dans Déployer à partir d’un dépôt Git.

La référence Git doit être un nom de branche. Les balises ne sont pas compatibles avec les déploiements automatiques.

Pour désactiver les déploiements automatiques, cliquez sur le badge de déploiement automatique dans une application existante et désactivez le déploiement automatique sur les événements Push. Vous pouvez également reconfigurer les paramètres dans Paramètres de l’application.

Appliquer des déploiements Git uniquement

Les administrateurs d’espace de travail peuvent exiger que toutes les applications d’un espace de travail soient déployées à partir de référentiels Git. Accédez à Paramètres>Développement>Applications et activez Autoriser uniquement les déploiements d’applications à partir de Git. Ce paramètre est désactivé par défaut.

Lorsque vous appliquez des déploiements Git :

• Les utilisateurs doivent configurer un référentiel Git avant de créer une application.
• Les utilisateurs peuvent uniquement déployer à partir de Git, et non à partir de dossiers d’espace de travail.
• Databricks désactive les modèles d’application dans l’espace de travail.
• Les utilisateurs ne peuvent pas supprimer un dépôt Git des applications qui en ont un.
• Les applications existantes continuent à s’exécuter, mais les utilisateurs ne peuvent pas les déployer ou les redémarrer, sauf si l’application dispose d’un référentiel Git.

Comportement après le déploiement

Une fois le déploiement terminé, Azure Databricks lance votre application en fonction du command défini dans votre fichier app.yaml ou, par défaut, exécute python app.py. La page vue d’ensemble de l’application affiche l’état actuel et fournit l’accès aux journaux, à l’historique du déploiement et aux informations d’environnement.

Pour afficher la sortie de l’application déployée, cliquez sur le lien de l’application.

Accédez à l’onglet Journaux pour le débogage et la surveillance du runtime. Consultez la journalisation et la surveillance des applications Databricks.

Mettre à jour ou redéployer l’application

Redéployez votre application après avoir apporté des modifications au code source ou à la configuration. Le redéploiement applique vos dernières mises à jour sans recréer l’application. Vous pouvez redéployer à partir de l’espace de travail ou du référentiel Git à tout moment.

Redéployer à partir d’un dossier d’espace de travail

Pour redéployer à partir d’un dossier d’espace de travail :

1. Mettez à jour vos fichiers d’application dans le dossier de l’espace de travail.
2. Sélectionnez l’application, puis cliquez sur Déployer.
3. Si le chemin du code source a changé ou que vous passez d’une source Git, cliquez sur la flèche en regard de Déployer et sélectionnez Déployer à l’aide d’une autre source.

Redéployer à partir d’un référentiel Git

Pour redéployer à partir d’un dépôt Git :

1. Envoyez vos modifications au dépôt Git.
2. Dans votre espace de travail Azure Databricks, sélectionnez votre application, puis cliquez sur Deploy. Si la référence Git a changé ou que vous passez d’une source d’espace de travail, cliquez sur la flèche en regard de Déployer et sélectionnez Déployer à l’aide d’une autre source.

Pour mettre à jour le référentiel Git à l’aide de l’interface CLI ou de l’API, utilisez la commande create-update . La suppression du référentiel Git de l'application impose le déploiement depuis l'espace de travail.

Résoudre les problèmes de déploiement

Si votre application ne parvient pas à déployer ou ne s’exécute pas comme prévu, essayez les étapes de résolution des problèmes suivantes :

• Vérifiez les logs pour les messages d'erreur ou la sortie d'exécution.
• Validez la app.yaml syntaxe et les paramètres.
• Vérifiez que les secrets et les variables d’environnement de la env section sont résolus correctement.
• Vérifiez que toutes les dépendances requises sont incluses ou installées.
• Si votre espace de travail utilise des stratégies réseau de sortie Private Link ou restreintes, vérifiez que les domaines requis sont autorisés. Les entrées manquantes de la liste autorisée de sortie sont une cause courante des échecs de déploiement dans les environnements Private Link. Consultez Déployer des applications dans des environnements Private Link.

Pour les déploiements de référentiel Git :

• Pour les dépôts privés, vérifiez que le principal de service de l'application a des identifiants Git configurés.
• Vérifiez que l’URL du référentiel Git est correcte et que la référence Git (branche, balise ou commit) existe dans le référentiel.
• Si un administrateur d’espace de travail applique des déploiements Git uniquement, vous ne pouvez pas déployer ou démarrer une application, sauf si un référentiel Git est configuré.
• Si vous déployez à partir de la ligne de commande CLI, de l’API ou des paquets d'automatisation déclaratifs, créez d’abord l’application, puis ajoutez les informations d’identification Git au principal de service de l'application.

Étapes suivantes

• Journalisation et surveillance des applications Databricks
• Configurer des autorisations pour une application Databricks
• Configurer l’exécution de l’application Databricks avec app.yaml