Déployer une application Databricks

Après avoir créé et développé votre application Azure Databricks, déployez-la pour la rendre accessible dans l’espace de travail Azure Databricks. Le déploiement génère votre application, installe des dépendances et l’exécute à l’aide de la configuration définie dans vos fichiers projet. Vous pouvez déployer des applications à l’aide de l’interface utilisateur Azure Databricks ou de l’interface CLI Databricks.

Logique de déploiement

Databricks Apps prend en charge le déploiement d’applications qui utilisent Python, Node.jsou une combinaison des deux. Cela permet des architectures flexibles, telles qu’un front-end Node.js avec un serveur principal Python.

Pendant le déploiement, le processus de génération recherche un package.json fichier à la racine du répertoire de votre application pour déterminer si Node.js est utilisé. S’il est présent, il inclut les étapes de construction spécifiques à Node, ainsi que les étapes de Python. La logique de déploiement suit ce modèle :

S’il package.json est présent :

1. Exécutez npm install
2. Installez les dépendances Python :
   • Si requirements.txt existe, lancez pip install -r requirements.txt
   • Si requirements.txt n’existe pas et que pyproject.toml et uv.lock existent, exécutez uv sync pour installer des dépendances.
3. Exécuter npm run build (si un build script est défini dans package.json)
4. Exécutez la commande spécifiée dans app.yaml, ou npm run start si aucune commande n’est spécifiée

Si package.json n’est pas présent :

1. Installez les dépendances Python :
   • Si requirements.txt existe, lancez pip install -r requirements.txt
   • Si requirements.txt n’existe pas et que pyproject.toml et uv.lock existent, exécutez uv sync pour installer des dépendances.
2. Exécutez la commande spécifiée dans app.yaml, ou python <my-app>.py si aucune commande n’est spécifiée

Préparer le déploiement

Avant de déployer votre application, vérifiez que votre projet inclut les composants nécessaires :

• Script principal : votre fichier de point d’entrée, tel que app.py ou app.js.
• Fichier facultatif app.yaml : si votre application nécessite une commande personnalisée ou des variables d’environnement, incluez un app.yaml fichier pour configurer l’exécution. Consultez Configurer l’exécution de l’application Databricks avec app.yaml.
• Dépendances : vérifiez que toutes les dépendances sont disponibles. Consultez Gérer les dépendances pour une application Databricks.
• Valeurs de secrets ou d’environnement : si vous utilisez la env section dans app.yaml, vérifiez que les secrets référencés ou les sources externes sont correctement configurés et accessibles. Consultez Ajouter des ressources à une application Databricks.

En outre, assurez-vous que le service principal de l'application a accès au dossier de code source.

Choisir une source de déploiement

Vous pouvez déployer des applications Databricks à partir des sources suivantes :

• Dossier de l’espace de travail : chargez des fichiers d’application dans un dossier d’espace de travail et déployez-y. Il s’agit de la méthode de déploiement standard.
• Dépôt Git : configurez un référentiel Git pour une application et déployez directement sans charger de fichiers dans l’espace de travail. L’application lit le code de la référence Git configurée (branche, balise ou validation) chaque fois que vous déployez. Vous pouvez également spécifier un chemin de code source à déployer à partir d’un répertoire spécifique dans le référentiel. Tous les principaux fournisseurs Git sont pris en charge, notamment GitHub, GitLab et Bitbucket. Pour obtenir la liste complète des fournisseurs pris en charge, consultez Connecter votre fournisseur Git à Databricks.

Vous pouvez basculer entre l’espace de travail et les sources Git pour la même application à tout moment, sauf si un administrateur d’espace de travail applique des déploiements Git uniquement. Consultez Imposer des déploiements Git uniquement.

Appliquer des déploiements Git uniquement

Les administrateurs d’espace de travail peuvent exiger que toutes les applications d’un espace de travail soient déployées à partir de référentiels Git. Pour activer ce paramètre, accédez à Paramètres>Développement>Applications et activez Autoriser uniquement les déploiements d'applications à partir de Git. Ce paramètre est désactivé par défaut.

Lorsque vous activez ce paramètre :

• Les utilisateurs doivent configurer un référentiel Git avant de créer une application.
• Les utilisateurs peuvent uniquement déployer à partir de Git, et non à partir de dossiers d’espace de travail.
• Databricks désactive les modèles d’application dans l’espace de travail.
• Les utilisateurs ne peuvent pas supprimer un dépôt Git des applications qui en ont un.
• Les applications existantes continuent à s’exécuter, mais les utilisateurs ne peuvent pas les déployer ou les redémarrer, sauf si l’application dispose d’un référentiel Git.

Déployer l’application

Les sections suivantes décrivent comment déployer à partir d’un dossier d’espace de travail ou directement à partir d’un dépôt Git.

Déployer à partir d’un dossier d’espace de travail

Interface utilisateur Databricks

Pour déployer une application à partir de l’interface utilisateur Azure Databricks :

1. Chargez les fichiers d’application dans votre espace de travail Azure Databricks. Pour obtenir des instructions, consultez Importer un fichier.
2. Cliquez sur Calcul dans la barre latérale.
3. Accédez à l’onglet Applications , puis cliquez sur le lien vers votre application dans la colonne Nom .
4. Cliquez sur Déployer et sélectionnez le dossier dans votre espace de travail où vous avez chargé les fichiers d’application.
5. Cliquez sur Sélectionner, puis Déployer.
6. Passez en revue la configuration, puis cliquez sur Déployer.

Interface CLI de Databricks

Pour déployer une application à l’aide de l’interface CLI :

1. Ouvrez un terminal et accédez au répertoire qui contient vos fichiers d’application.

2. Chargez vos fichiers d’application dans l’espace de travail Azure Databricks à l’aide de la commande sync. Remplacez le chemin d’accès par l’emplacement de l’espace de travail où vous souhaitez charger les fichiers.

   databricks sync --watch . /Workspace/Users/my-email@org.com/my-app
   

   L’indicateur --watch conserve le processus de synchronisation en cours d’exécution et charge automatiquement les modifications lorsque vous modifiez des fichiers localement. Pour exclure des fichiers ou répertoires spécifiques de la synchronisation, ajoutez-les à un .gitignore fichier dans votre répertoire d’application local. Les fichiers courants à exclure sont node_modules/, , .env__pycache__/, .DS_Storeet tous les fichiers de données volumineux ou artefacts de build.

3. Vérifiez le chargement en affichant les fichiers dans votre espace de travail. Cliquez sur l'icône dans la barre latérale et accédez au répertoire que vous avez créé pour votre application.

4. Déployez l’application en exécutant la commande suivante. Remplacez le nom de l’application et le chemin du code source par vos valeurs.

   databricks apps deploy my-app-name \
      --source-code-path /Workspace/Users/my-email@org.com/my-app
   

   L’interface CLI affiche la progression du déploiement et confirme l’exécution de l’application.

Déployer à partir d’un référentiel Git

Pour déployer une application à partir d’un référentiel Git, ajoutez le référentiel au niveau de l’application, puis spécifiez la référence Git lorsque vous la déployez. Votre référentiel Git doit contenir les fichiers d’application, notamment app.yamlles dépendances et le point d’entrée. Tous les principaux fournisseurs Git sont pris en charge, notamment GitHub, GitLab et Bitbucket. Vous pouvez également déployer des applications sauvegardées par Git à l’aide de l’interface utilisateur, de l’interface CLI, de l’API ou des bundles Automation déclaratifs.

Pour configurer et déployer une application à partir de Git :

1. Chargez vos fichiers d’application dans un dépôt Git.
2. Dans votre espace de travail Azure Databricks, cliquez sur l'icône de calcul Compute dans la barre latérale.
3. Accédez à l’onglet Applications et sélectionnez une application existante à modifier ou cliquez sur Créer une application.
4. Dans l’étape Configurer le dépôt Git , entrez l’URL du dépôt Git (par exemple https://github.com/org/repo) et sélectionnez un fournisseur Git.
5. Cliquez sur Créer une application ou Enregistrer pour revenir à la page des détails de l’application.
6. Pour les dépôts privés, le principal de service de l’application doit avoir des informations d’identification Git configurées. Dans la page détails de l’application, cliquez sur Configurer les informations d’identification Git, ou modifiez l’application et ajoutez les informations d’identification à l’étape Configurer le référentiel Git . Vous devez disposer CAN MANAGE d’autorisations sur l’application pour ajouter des informations d’identification Git. Les dépôts publics ne nécessitent pas d’informations d’identification Git. Pour obtenir des instructions pour chaque fournisseur, consultez Connecter votre fournisseur Git à Databricks.

Ensuite, déployez l’application :

1. Dans la page des détails de l’application, cliquez sur Déployer.
2. Sélectionnez Depuis Git.
3. Pour référence Git, entrez le nom de la branche, la balise ou la validation SHA (par exemple, main, v1.0.0ou un hachage de validation).
4. Pour le Reference type, spécifiez le type de référence, tel qu’une branche, un tag ou un commit.
5. (Facultatif) Pour le chemin du code source, entrez un chemin d’accès à un répertoire spécifique dans le référentiel. L’application traite ce répertoire comme répertoire de niveau supérieur et ne peut pas accéder aux fichiers en dehors de celui-ci. Si vous ne spécifiez pas de chemin d’accès, Databricks utilise la racine du référentiel.
6. Cliquez sur Déployer.

Pour les références de branche ou de balise, Azure Databricks déploie la validation la plus récente à partir de cette branche ou de cette balise. Pour les références de commit SHA, Azure Databricks déploie toujours ce commit spécifique. Si les informations d’identification Git du principal de service ne sont pas valides ou ont expiré, le déploiement échoue.

Comportement après le déploiement

Une fois le déploiement terminé, Azure Databricks démarre votre application en fonction du command défini dans votre fichier app.yaml ou, par défaut, exécute python app.py. La page détails de l’application affiche l’état actuel et fournit l’accès aux journaux, à l’historique du déploiement et aux informations d’environnement.

Pour afficher la sortie de l’application déployée, cliquez sur le lien de l’application.

Accédez à l’onglet Journaux pour le débogage et la surveillance du runtime. Consultez la journalisation et la surveillance des applications Databricks.

Mettre à jour ou redéployer l’application

Redéployez votre application après avoir apporté des modifications au code source ou à la configuration. Le redéploiement applique vos dernières mises à jour sans recréer l’application. Vous pouvez redéployer à partir de l’espace de travail ou du référentiel Git à tout moment.

Redéployer à partir d’un dossier d’espace de travail

Pour redéployer à partir d’un dossier d’espace de travail :

1. Mettez à jour vos fichiers d’application dans le dossier de l’espace de travail.
2. Sélectionnez l’application, puis cliquez sur Déployer.
3. Si le chemin du code source a changé ou que vous passez d’une source Git, cliquez sur la flèche en regard de Déployer et sélectionnez Déployer à l’aide d’une autre source.

Redéployer à partir d’un référentiel Git

Pour redéployer à partir d’un dépôt Git :

1. Envoyez vos modifications au dépôt Git.
2. Dans votre espace de travail Azure Databricks, sélectionnez votre application, puis cliquez sur Deploy.
3. Si la référence Git a changé ou que vous passez d’une source d’espace de travail, cliquez sur la flèche en regard de Déployer et sélectionnez Déployer à l’aide d’une autre source.

Pour modifier le référentiel Git ou les informations d’identification, modifiez la configuration de l’application. Pour mettre à jour le référentiel Git à l’aide de l’interface CLI ou de l’API, utilisez la commande create-update . La suppression du référentiel Git de l'application impose le déploiement depuis l'espace de travail.

Résoudre les problèmes de déploiement

Si votre application ne parvient pas à déployer ou ne s’exécute pas comme prévu, essayez les étapes de résolution des problèmes suivantes :

• Vérifiez les logs pour les messages d'erreur ou la sortie d'exécution.
• Validez la app.yaml syntaxe et les paramètres.
• Vérifiez que les secrets et les variables d’environnement de la env section sont résolus correctement.
• Vérifiez que toutes les dépendances requises sont incluses ou installées.

Pour les déploiements de référentiel Git :

• Pour les dépôts privés, vérifiez que le principal de service de l'application a des identifiants Git configurés.
• Vérifiez que l’URL du référentiel Git est correcte et que la référence Git (branche, balise ou commit) existe dans le référentiel.
• Si un administrateur d’espace de travail applique des déploiements Git uniquement, vous ne pouvez pas déployer ou démarrer une application, sauf si un référentiel Git est configuré.
• Si vous déployez à partir de la ligne de commande CLI, de l’API ou des paquets d'automatisation déclaratifs, créez d’abord l’application, puis ajoutez les informations d’identification Git au principal de service de l'application.

Étapes suivantes

• Journalisation et surveillance des applications Databricks
• Configurer des autorisations pour une application Databricks
• Configurer l’exécution de l’application Databricks avec app.yaml