Configurer un périmètre de sécurité réseau Azure (NSP) pour les ressources Azure

Le calcul serverless d’Azure Databricks se connecte à vos ressources cloud via une infrastructure réseau gérée. Si des pare-feu protègent vos ressources cloud, vous devez autoriser le trafic provenant du calcul sans serveur. La méthode de configuration dépend du type de ressource :

• Comptes de stockage Azure dans la région de votre espace de travail : associez votre compte de stockage à un périmètre de sécurité réseau (NSP) et autorisez la balise de service AzureDatabricksServerless.

• Autres ressources : autorisez la liste des adresses IP sortantes publiées par Azure Databricks.

Configurer un périmètre de sécurité réseau Azure pour les comptes de stockage Azure

Un Azure périmètre de sécurité réseau (NSP) est une fonctionnalité intégrée Azure qui crée une limite d’isolation logique pour vos ressources PaaS (platform-as-a-service). Lorsque vous associez vos comptes de stockage à un fournisseur de services réseau, vous gérez le trafic réseau de manière centralisée avec un ensemble de règles simplifié au lieu de gérer des listes complexes d’adresses IP individuelles ou d’ID de sous-réseau. Cette section décrit comment configurer un NSP pour contrôler l’accès au calcul sans serveur pour vos comptes de stockage Azure à l’aide du portail Azure.

NSP prend en charge l’accès à partir d’entrepôts SQL serverless, de jobs, de notebooks, de pipelines déclaratifs Spark Lakeflow et de points de terminaison de service de modèles.

Principaux avantages

L’utilisation du périmètre de sécurité réseau (NSP) pour le trafic sortant sans serveur d'Azure Databricks améliore votre position de sécurité tout en réduisant considérablement la charge opérationnelle.

Services de Azure pris en charge

La balise de service AzureDatabricksServerless est prise en charge uniquement pour les règles de trafic entrant NSP ciblant stockage Azure (y compris ADLS Gen2) dans la région de l'espace de travail.

Exigences

Avant de commencer, vous devez disposer de la configuration requise suivante :

• Vous devez être administrateur de compte Azure Databricks.
• Vous devez disposer d’autorisations Contributeur ou Propriétaire sur la ressource Azure que vous souhaitez configurer.
• Vous devez avoir l’autorisation de créer des ressources de périmètre de sécurité réseau dans votre abonnement Azure.
• Votre espace de travail Azure Databricks et vos ressources Azure doivent se trouver dans la même région Azure pour optimiser les performances et éviter les frais de transfert de données inter-régions.

Étape 1 : Créer un périmètre de sécurité réseau et noter l’ID de profil

Pour créer le périmètre et noter son ID de profil, procédez comme suit :

1. Connectez-vous au portail Azure.

2. Dans la zone de recherche située en haut, entrez les périmètres de sécurité réseau et sélectionnez-le dans les résultats.

3. Cliquez sur + Créer.

4. Sous l’onglet De base, entrez les informations suivantes :

   • Abonnement: Sélectionnez votre abonnement Azure.
   • Groupe de ressources : sélectionnez un groupe de ressources existant ou créez-en un.
   • Nom : entrez un nom pour votre fournisseur de services réseau (par exemple, databricks-nsp).
   • Région : sélectionnez la région de votre fournisseur de services réseau. La région doit correspondre à votre région d’espace de travail Azure Databricks et à la région de votre compte de stockage Azure.
   • Nom du profil : entrez un nom de profil (par exemple, databricks-profile).

5. Cliquez sur Vérifier + créer, puis sur Créer.

6. Une fois le fournisseur de services réseau créé, accédez-y dans le portail Azure.

7. Dans la barre latérale gauche, accédez à Paramètres>Profils.

8. Créez ou sélectionnez votre profil (par exemple). databricks-profile

9. Copiez l’ID de ressource du profil. Vous avez besoin de cet ID pour associer des ressources par programmation.

   Tip

   Enregistrez l’ID de profil dans un emplacement sécurisé. Vous devez l’avoir disponible si vous souhaitez associer des ressources à l’aide de la Azure CLI ou de l’API au lieu du portail Azure.

Étape 2 : Associer votre compte de stockage au fournisseur de services réseau en mode transition

Vous devez associer chaque compte de stockage Azure auquel vous souhaitez accéder à partir de Azure Databricks calcul serverless avec votre profil NSP en suivant les étapes ci-dessous :

1. Accédez à votre périmètre de sécurité réseau dans le portail Azure.
2. Dans la barre latérale gauche, accédez aux ressources associées sous Paramètres.
3. Cliquez sur + Ajouter des>ressources Associées à un profil existant.
4. Sélectionnez le profil que vous avez créé à l’étape 1 (par exemple). databricks-profile
5. Cliquez sur Associer.
6. Dans le volet de sélection des ressources, filtrez par Microsoft.Storage/storageAccounts pour associer un compte Azure Data Lake Storage Gen2.
7. Sélectionnez vos comptes de stockage dans la liste.
8. Cliquez sur Associer en bas du volet.

Vérifiez le mode de transition :

1. Dans le NSP, accédez à Paramètres>Ressources associées.
2. Recherchez votre compte de stockage dans la liste.
3. Vérifiez que la colonne Mode d’accès affiche Transition. La transition est le mode par défaut.

Étape 3 : Ajouter une règle d'accès entrant pour les ressources de calcul serverless Azure Databricks

Vous devez créer une règle d'accès entrante dans votre profil NSP pour autoriser le trafic du calcul sans serveur d'Azure Databricks vers vos ressources Azure.

1. Accédez à votre périmètre de sécurité réseau dans le portail Azure.
2. Dans la barre latérale gauche, accédez à Paramètres>Profils.
3. Sélectionnez votre profil (par exemple, databricks-profile).
4. Sous Paramètres , cliquez sur Règles d’accès entrant.
5. Cliquez sur + Ajouter.
6. Configurez la règle :
   • Nom de la règle : entrez un nom descriptif (par exemple, allow-databricks-serverless).
   • Type de source : sélectionnez l’étiquette de service.
   • Sources autorisées : Sélectionner AzureDatabricksServerless.[ your_workspace_region] (par exemple, AzureDatabricksServerless.EastUS2). L'utilisation d'une balise régionale limite l'accès aux adresses IP Azure Databricks dans la région de votre espace de travail, ce qui réduit l'exposition par rapport à la balise globale.
7. Cliquez sur Ajouter.

Étape 4 : Vérifier la configuration

Après avoir configuré votre NSP, vérifiez que le calcul serverless d’Azure Databricks peut accéder à votre stockage et surveillez l’activité du NSP.

Tester l’accès depuis un environnement de calcul serverless

1. Accédez à votre ressource Azure dans le portail Azure.

2. Accédez à Sécurité + Mise en réseau>.

3. Vérifiez que la ressource affiche une association avec votre périmètre de sécurité réseau.

4. Vérifiez que l’état affiche le mode Transition.

5. Affichez les règles de trafic entrant associées à votre profil pour vérifier que la AzureDatabricksServerless règle est répertoriée (régionale ou globale).

6. Dans votre espace de travail Azure Databricks, exécutez une requête de test pour vérifier que le calcul serverless peut accéder à votre ressource. Par exemple, pour tester l’accès à un compte de stockage ADLS Gen2 :

   SELECT * FROM delta.`abfss://container@storageaccount.dfs.core.windows.net/path/to/data` LIMIT 10;
   

   Si la requête réussit, votre configuration NSP fonctionne correctement.

Surveiller l’activité NSP

Pour surveiller les tentatives de connexion autorisées ou refusées par les règles NSP :

1. Accédez à votre ressource Azure dans le portail Azure.

2. Allez sur Supervision>Paramètres de diagnostic.

3. Cliquez sur + Ajouter le paramètre de diagnostic.

4. Sélectionnez les catégories de logs que vous souhaitez surveiller. Pour stockage Azure comptes, sélectionnez :

   • StorageRead
   • StorageWrite

5. Sélectionnez une destination :

   • Espace de travail Log Analytics (recommandé pour l’interrogation et l’analyse)
   • Compte de stockage (pour l’archivage à long terme)
   • Event Hub (pour la diffusion en continu vers des systèmes externes)

6. Cliquez sur Enregistrer.

   Tip

   Les journaux de diagnostic indiquent les tentatives de connexion mises en correspondance par les règles NSP par rapport aux règles de pare-feu de ressources. En mode transition, les journaux indiquent si chaque requête a été autorisée par une règle NSP ou est renvoyée au pare-feu de ressources.

Présentation des modes d’accès NSP

NSP prend en charge deux modes d’accès : le mode de transition et le mode appliqué. Azure Databricks recommande de rester en mode transition indéfiniment pour la plupart des cas d’usage.

Mode de transition (recommandé) :

• Évalue d’abord les règles NSP, puis revient aux règles de pare-feu de ressources si aucune règle NSP ne correspond.
• Vous permet d’utiliser NSP en même temps que les configurations réseau existantes.
• Compatible avec les points de terminaison de service, les configurations de calcul classiques et les modèles de trafic réseau public.

Mode forcé (non recommandé pour la plupart des clients)

• Contourne les règles de pare-feu de ressources, bloquant tout le trafic qui ne correspond pas à une règle NSP. Le mode appliqué affecte non seulement Azure Databricks, mais également les autres services que vous avez autorisés via votre pare-feu de ressources. Ces services doivent avoir été intégrés au fournisseur de services réseau pour continuer à fonctionner.
• Restez en mode transition si vous utilisez des points de terminaison de service pour vous connecter au stockage à partir de n’importe quel espace de travail Azure Databricks.

Configurer l’accès à d’autres ressources à l’aide d’adresses IP sortantes

Pour les ressources autres que Azure comptes de stockage dans la même région que votre espace de travail, le calcul serverless utilise des adresses IP publiques pour atteindre vos ressources.

Pour autoriser serverless à accéder aux ressources avec des pare-feu, vous devez ajouter les blocs CIDR publiés par Azure Databricks à votre liste verte. Pour plus d’informations sur les adresses IP de sortie publiées, consultez Adresses IP de sortie pour la préversion du pare-feu de calcul sans serveur.

Rechercher les adresses IP sortantes pour votre environnement

1. Téléchargez ip-ranges.json.
2. Filtrez le JSON pour ne conserver que les entrées qui correspondent à votre espace de travail. Conservez uniquement les entrées dans lesquelles :
   • service est Databricks
   • type est outbound
   • region correspond à votre région d’espace de travail
   • platform correspond à azure
3. Ajoutez à la liste d’autorisation les ipv4Prefixes (blocs CIDR) des entrées correspondantes dans votre pare-feu des ressources.

Automatiser les mises à jour pour maintenir votre liste d’autorisation à jour

Vous devez automatiser les mises à jour de votre liste d’autorisation. Azure Databricks modifie ces adresses IP au fil du temps. Par conséquent, une copie statique à usage unique interrompt finalement la connectivité serverless. Les mises à jour publient aussi souvent qu’une fois toutes les 30 jours, les nouvelles adresses IP deviennent actives dès 60 jours après la publication et de nouvelles régions sont ajoutées régulièrement. Pour maintenir votre liste d’autorisation à jour :

1. Récupérer ip-ranges.json selon une planification (par exemple, toutes les 30 jours).
2. Comparez son timestampSeconds champ à votre copie enregistrée pour détecter les modifications.
3. Si cela a changé, vérifiez si les adresses IP de votre platform et de votre region ont changé.
4. Mettez à jour votre liste d’autorisation de pare-feu avec les nouvelles adresses IP.
5. Enregistrez le fichier pour la comparaison suivante.

Considerations

Passez en revue les considérations suivantes avant de configurer un pare-feu pour le calcul serverless :

• La configuration d’un pare-feu affecte également la connectivité à partir de ressources de calcul classiques. Vous devez également mettre à jour vos règles d’accès aux ressources pour autoriser les adresses IP pour les connexions à partir de ressources de calcul classiques.
• Attendez que les règles de pare-feu se propagent avant de tester la connectivité depuis un environnement serverless.

Étapes suivantes

• Configurez la connectivité privée aux ressources de votre VPC : utilisez PrivateLink pour établir un accès sécurisé et isolé aux ressources de votre VPC à partir d’un calcul serverless. Consultez Configurer la connectivité privée aux ressources de votre réseau virtuel.
• Gérer les règles de point de terminaison privé : afficher, mettre à jour et supprimer des règles de point de terminaison privé pour votre configuration de connectivité réseau. Voir Gérer les règles de point de terminaison privé.