Créez, configurez et utilisez un environnement dans Fabric

Un environnement Microsoft Fabric est un élément d’espace de travail qui définit la configuration de session Spark pour les notebooks et les définitions de travaux Spark. Utilisez un environnement pour choisir un runtime Spark, configurer des paramètres de calcul, gérer des bibliothèques et gérer de petits fichiers de ressources auxquels les notebooks peuvent accéder.

Cet article présente une vue d’ensemble de la création, de la configuration et de l’utilisation d’un environnement.

Pourquoi utiliser un élément d’environnement

Vous pouvez exécuter des notebooks et des définitions de travaux Spark à l’aide du paramètre par défaut de l’espace de travail sans rattacher d’élément d’environnement. Dans ce cas, vous utilisez les paramètres Spark au niveau de l’espace de travail.

Utilisez un élément d’environnement lorsque vous avez besoin de valeurs par défaut réutilisables et régies pour les équipes :

• Définissez le calcul et les bibliothèques Spark une seule fois, puis appliquez-les de manière cohérente entre les blocs-notes et les définitions de travaux Spark.
• Définissez un environnement comme environnement par défaut afin que les utilisateurs héritent de la configuration partagée par le biais de la valeur par défaut de l’espace de travail.
• Version et exploitation des paramètres d’environnement en tant qu’artefact unique.

Environnements au niveau de l’espace de travail

Utilisez ce flux de travail lorsque vous souhaitez définir des valeurs par défaut à l’échelle de l’espace de travail pour les notebooks et les définitions de travaux Spark.

Un élément d’environnement est créé dans un espace de travail spécifique et est associé à cet espace de travail. Vous pouvez également utiliser cet environnement dans d’autres espaces de travail où vous avez accès, si les exigences de compatibilité du partage et de l’espace de travail sont remplies.

Créer un environnement à partir d’un espace de travail

1. Dans votre navigateur, accédez à votre espace de travail Fabric dans le portail Fabric.

2. Sélectionnez +Nouvel élément.

3. Recherchez « environnement » dans la barre de recherche et sélectionnez la vignette Environnement .

   

4. Nommez votre environnement et sélectionnez Créer.

Attacher un environnement en tant qu’espace de travail par défaut

Les administrateurs d’espace de travail peuvent définir la charge de travail par défaut pour l’ensemble des espaces de travail. Les valeurs configurées ici sont efficaces pour les blocs-notes et les définitions de tâches Spark qui s'attachent aux paramètres de l'espace de travail.

Le bouton bascule Définir l’environnement par défaut contrôle si la valeur par défaut de l’espace de travail est soutenue par un élément d’environnement.

1. Dans votre navigateur, accédez à votre espace de travail Fabric dans le portail Fabric.

2. Sélectionnez Paramètres de l’espace de travail.

3. Sélectionnez Ingénierie/Science des données, puis sélectionnez Paramètres Spark.

4. Sélectionnez l’onglet Environnement.

   

5. Pour utiliser un espace de travail avec l'environnement par défaut, passez Définir l'environnement par défaut sur Activé, sélectionnez l'élément d'environnement que vous souhaitez utiliser, puis enregistrez vos modifications.

   • Lorsque cet interrupteur est désactivé (valeur par défaut), les utilisateurs voient toujours par défaut de l'espace de travail dans les notebooks et les définitions de tâches Spark. Dans cet état, l’espace de travail utilise par défaut les paramètres Spark au niveau de l’espace de travail.
   • Lorsque cette bascule est activée, vous sélectionnez un élément d’environnement comme valeur par défaut de l'espace de travail. Les blocs-notes et les définitions de travaux Spark qui utilisent l’espace de travail par défaut héritent des configurations de calcul et de bibliothèque Spark de cet environnement.

   

Environnements de définition des tâches pour Notebook et Spark

Utilisez ce flux de travail lorsque vous souhaitez créer, sélectionner ou modifier des environnements directement à partir d’un notebook ou d’une définition de travail Spark.

Créer ou modifier un environnement à partir d’un notebook ou d’une définition de travail Spark

1. Dans votre navigateur, accédez à votre espace de travail Fabric dans le portail Fabric.

2. Ouvrez un bloc-notes ou une définition de travail Spark.

3. Sélectionnez la liste déroulante Environnement , puis sélectionnez Nouvel environnement.

   

   Note

   Sinon, si vous souhaitez modifier l’environnement sans en créer un, vous pouvez sélectionner Modifier l’environnement dans le menu déroulant. Vous pouvez sélectionner un environnement existant, puis sélectionner Confirmer pour l’attacher au bloc-notes ou à la définition de travail Spark.

4. Nommez votre environnement et sélectionnez Créer.

Attacher un environnement à un notebook ou à une définition de tâche pour Spark

L’environnement est disponible sous les onglets Notebook et Spark Job Definition . Lorsque les notebooks et les définitions de travaux Spark sont attachés à un environnement, ils peuvent accéder à ses bibliothèques, paramètres de calcul et ressources. L’Explorateur répertorie tous les environnements disponibles qui sont partagés avec vous, proviennent de l’espace de travail actuel et proviennent d’autres espaces de travail auxquels vous avez accès.

Si vous basculez vers un autre environnement pendant une session active, l’environnement nouvellement sélectionné ne prend effet qu’à la prochaine session.

Lorsque vous attachez un environnement à partir d’un autre espace de travail, les deux espaces de travail doivent avoir les mêmes paramètres de capacité et de sécurité réseau. Bien que vous puissiez sélectionner des environnements à partir d’espaces de travail avec différentes capacités ou paramètres de sécurité réseau, la session ne parvient pas à démarrer.

Lorsque vous attachez un environnement à partir d’un autre espace de travail, la configuration de calcul dans cet environnement est ignorée. Au lieu de cela, les configurations de pool et de calcul sont par défaut les paramètres de votre espace de travail actuel.

Configurer un environnement

Un environnement comporte trois composants majeurs :

• Calcul Spark, qui inclut l'environnement d'exécution Spark.
• Bibliothèques.
• Ressources.

Les configurations de calcul et de bibliothèque Spark sont requises pour que la publication soit efficace. Les ressources sont un stockage partagé qui peut changer en temps réel. Pour plus d’informations, consultez Enregistrer et publier des modifications.

Configurer le calcul Spark

Configurez le calcul Spark dans un environnement en sélectionnant un runtime et en définissant des propriétés de calcul au niveau de la session.

Pour obtenir des étapes détaillées, notamment la sélection du runtime et la personnalisation du calcul, consultez les paramètres de configuration de calcul Spark dans les environnements Fabric.

Si vous modifiez les paramètres d’exécution ou de calcul, enregistrez et publiez l’environnement pour que ces modifications prennent effet. Pour plus d’informations, consultez Enregistrer et publier des modifications.

Gérer des bibliothèques

Chaque runtime Spark fournit des bibliothèques intégrées. Avec l’environnement Fabric, vous pouvez également installer des bibliothèques à partir de sources publiques ou charger des bibliothèques personnalisées que vous ou votre organisation avez créées. Une fois que vous avez correctement installé les bibliothèques, elles sont disponibles dans vos sessions Spark. Pour plus d’informations, consultez Gestion des bibliothèques dans les environnements Fabric. Pour connaître les meilleures pratiques de gestion des bibliothèques dans Fabric, consultez Gérer les bibliothèques Apache Spark dans Fabric.

Lorsque vous ajoutez des bibliothèques à un environnement, vous choisissez un mode de publication :

• Le mode rapide publie en environ 5 secondes. Les bibliothèques s’installent quand une session de notebook démarre. Utilisez le mode rapide pour l’itération rapide pendant le développement.
• Le mode complet crée un instantané de bibliothèque stable et reproductible. La publication prend généralement 3 à 6 minutes, et le démarrage de session ajoute 1 à 3 minutes pour le déploiement de dépendances. Utilisez le mode complet pour les pipelines, les exécutions planifiées et les charges de travail partagées. Pour obtenir des démarrages de session d’environ 5 secondes avec le mode complet, configurez un pool dynamique personnalisé qui s’attache à l’environnement.

Pour plus d’informations sur chaque mode, consultez Sélectionner le mode de publication pour les bibliothèques.

Utiliser des ressources

La section Ressources d’un environnement facilite la gestion des petites ressources pendant la phase de développement. Les fichiers chargés dans l’environnement sont accessibles entre les blocs-notes lorsqu’ils sont attachés. Pour plus d’informations, consultez Gérer les ressources dans un environnement Fabric.

Enregistrer et publier les modifications

Utilisez Enregistrer et publier pour contrôler quand les modifications de configuration de l’environnement prennent effet.

• Enregistrez les modifications en attente.
• Publie les modifications en attente dans les bibliothèques et dans le calcul Spark.
• Les modifications apportées aux ressources sont en temps réel et ne nécessitent pas de publication.

Lorsque vous publiez, l’heure dépend du mode de publication de la bibliothèque que vous avez sélectionné. Le mode rapide publie en environ 5 secondes, tandis que le mode plein prend généralement 3 à 6 minutes pour résoudre les dépendances et créer un instantané stable. Pour plus d’informations, consultez Sélectionner le mode de publication pour les bibliothèques.

Sous l’onglet Accueil , l’option Enregistrer et Publier est activée lorsqu’il existe des modifications en attente dans les bibliothèques ou le calcul Spark.

Lorsqu’il existe des modifications en attente, une bannière fournit également des actions Enregistrer et Publier .

Utilisez ce flux de travail :

1. Apportez des modifications dans les bibliothèques ou le calcul Spark.
2. Sélectionnez Enregistrer pour conserver vos modifications. Les modifications enregistrées sont intermédiaires et ne sont pas encore effectives.
3. Sélectionnez Publier , puis Publier tout pour effectuer les modifications intermédiaires.

Pendant la publication :

• Pour annuler un processus de publication, sélectionnez Afficher la progression dans la bannière et annuler l’opération.
• Une notification s’affiche lors de la publication. Une notification d’erreur se produit s’il existe des problèmes pendant le processus.

Un environnement n’accepte qu’une seule action de publication à la fois. Vous ne pouvez pas apporter de modifications aux sections bibliothèques ou de calcul Spark pendant une action de publication en cours.

Partager un environnement existant

Fabric prend en charge le partage d’un élément avec différents niveaux d’autorisations.

Lorsque vous partagez un élément d’environnement, les destinataires reçoivent automatiquement l’autorisation Lecture. Avec cette autorisation, ils peuvent explorer les configurations de l’environnement et les attacher aux blocs-notes ou aux travaux Spark. Pour une exécution de code fluide, veillez à accorder des autorisations de lecture pour les environnements attachés lorsque vous partagez des blocs-notes et des définitions de travaux Spark.

Vous pouvez également partager l’environnement avec des autorisations de partage et de modification. Les utilisateurs disposant d’une autorisation De partage peuvent continuer à partager l’environnement avec d’autres utilisateurs. Pendant ce temps, les destinataires disposant de l’autorisation Modifier peuvent mettre à jour le contenu de l’environnement.

Supprimer un environnement

Vous pouvez supprimer un environnement lorsqu’il n’est plus nécessaire. Avant de supprimer un environnement, tenez compte des éléments suivants :

Supprimer un environnement à l’aide de l’API REST

Vous pouvez supprimer un environnement par programmation à l’aide de l’API REST Fabric :

Point de terminaison :DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}

Autorisations requises : Environment.ReadWrite.All ou Item.ReadWrite.All

Pour plus d’informations sur l’API REST, consultez Supprimer l’environnement.

Contenu connexe

• Paramètres de configuration du calcul Spark dans les environnements Fabric
• Gestion des bibliothèques dans l’environnement Fabric