Een Azure netwerkbeveiligingsperimeter (NSP) configureren voor Azure resources

Azure Databricks serverloze berekening maakt verbinding met uw cloudresources via een beheerde netwerkinfrastructuur. Als firewalls uw cloudresources beveiligen, moet u verkeer van serverloze berekeningen toestaan. De configuratiemethode is afhankelijk van het type resource:

• Azure opslagaccounts in de regio van uw werkruimte: koppel uw opslagaccount aan een netwerkbeveiligingsperimeter (NSP) en sta de AzureDatabricksServerless servicetag toe.

• Andere resources: Hiermee staat u de uitgaande IP-adressen toe die zijn gepubliceerd door Azure Databricks.

Een Azure-netwerkbeveiligingsperimeter configureren voor Azure opslagaccounts

Een Azure netwerkbeveiligingsperimeter (NSP) is een ingebouwde Azure functie waarmee een logische isolatiegrens wordt gemaakt voor uw PaaS-resources (Platform-as-a-Service). Wanneer u uw opslagaccounts koppelt aan een NSP, beheert u netwerkverkeer centraal met een vereenvoudigde regelset in plaats van complexe lijsten met afzonderlijke IP-adressen of subnet-id's te onderhouden. In deze sectie wordt beschreven hoe u een NSP configureert voor het beheren van serverloze rekentoegang tot uw Azure-opslagaccounts met behulp van de Azure-portal.

NSP biedt ondersteuning voor toegang vanaf serverloze SQL-warehouses, taken, notebooks, Lakeflow Spark Declarative Pipelines en endpoints voor het serveren van modellen.

Belangrijkste voordelen

Het gebruik van NSP voor serverloos uitgaand verkeer van Azure Databricks verbetert uw beveiligingspostuur en vermindert de operationele overhead aanzienlijk:

Ondersteunde Azure-diensten

De AzureDatabricksServerless-servicetag wordt alleen ondersteund voor inkomende NSP-regels die zijn gericht op Azure Storage (inclusief ADLS Gen2) in de regio van de werkruimte.

Requirements

Voordat u begint, moet u aan de volgende vereisten voldoen:

• U moet een Azure Databricks-accountbeheerder zijn.
• U moet inzender- of eigenaarmachtigingen hebben voor de Azure-resource die u wilt configureren.
• U moet gemachtigd zijn om perimeterbronnen voor netwerkbeveiliging te maken in uw Azure-abonnement.
• Uw Azure Databricks werkruimte en Azure resources moeten zich in dezelfde Azure regio bevinden voor optimale prestaties en om kosten voor gegevensoverdracht tussen regio's te voorkomen.

Stap 1: Maak een netwerkbeveiligingsperimeter en noteer de profiel-id

Ga als volgt te werk om de perimeter te maken en de bijbehorende profiel-id te noteren:

1. Meld u aan bij het Azure-portaal.

2. Voer in het zoekvak bovenaan netwerkbeveiligingsperimeter in en selecteer deze in de resultaten.

3. Klik op en maakaan.

4. Voer op het tabblad Basisinformatie de volgende gegevens in:

   • Abonnement: selecteer uw Azure-abonnement.
   • Resourcegroep: Selecteer een bestaande resourcegroep of maak er een.
   • Naam: Voer een naam in voor uw NSP (bijvoorbeeld databricks-nsp).
   • Regio: Selecteer de regio voor uw NSP. De regio moet overeenkomen met uw Azure Databricks werkruimteregio en de regio van uw Azure opslagaccount.
   • Profielnaam: Voer een profielnaam in (bijvoorbeeld databricks-profile).

5. Klik Controleren en maken en vervolgens Maken.

6. Nadat de NSP is gemaakt, gaat u naar de NSP in de Azure-portal.

7. Ga in de linkerzijbalk naar Instellingenprofielen>.

8. Maak of selecteer uw profiel (bijvoorbeeld databricks-profile).

9. Kopieer de resource-id voor het profiel. U hebt deze id nodig om resources programmatisch te koppelen.

   Tip

   Sla de profiel-id op een veilige locatie op. U moet deze beschikbaar hebben als u resources wilt koppelen met behulp van de Azure CLI of API in plaats van de Azure-portal.

Stap 2: Uw opslagaccount koppelen aan NSP in de overgangsmodus

U moet elk Azure opslagaccount dat u wilt openen vanuit Azure Databricks serverloze berekening koppelen aan uw NSP-profiel door de onderstaande stappen uit te voeren:

1. Ga naar uw netwerkbeveiligingsperimeter in de Azure-portal.
2. Ga in de linkerzijbalk naar Gekoppelde resources onder Instellingen.
3. Klik op + Toevoegen>Koppel resources aan een bestaand profiel.
4. Selecteer het profiel dat u in stap 1 hebt gemaakt (bijvoorbeeld databricks-profile).
5. Klik op Koppelen.
6. Filter in het deelvenster Resourceselectie op Microsoft.Storage/storageAccounts om een Azure Data Lake Storage Gen2-account te koppelen.
7. Selecteer uw opslagaccounts in de lijst.
8. Klik onder aan het deelvenster op Koppelen .

Overgangsmodus controleren:

1. Ga in de NSP naar Instellingen>gekoppelde resources.
2. Zoek uw opslagaccount in de lijst.
3. Controleer of in de kolom ToegangsmodusOvergang wordt weergegeven. Overgang is de standaardmodus.

Stap 3: Een regel voor binnenkomende toegang toevoegen voor serverloze compute van Azure Databricks

U moet een binnenkomende toegangsregel maken in uw NSP-profiel om verkeer van serverloze Azure Databricks-berekeningen naar uw Azure-resources toe te staan.

1. Ga naar uw netwerkbeveiligingsperimeter in de Azure-portal.
2. Ga in de linkerzijbalk naar Instellingenprofielen>.
3. Selecteer uw profiel (bijvoorbeeld databricks-profile).
4. Klik onder Instellingen op Regels voor binnenkomende toegang.
5. Klik op + Toevoegen.
6. Configureer de regel:
   • Regelnaam: Voer een beschrijvende naam in (bijvoorbeeld allow-databricks-serverless).
   • Brontype: selecteer servicetag.
   • Toegestane bronnen: Selecteer AzureDatabricksServerless.[ your_workspace_region] (bijvoorbeeld AzureDatabricksServerless.EastUS2). Als u een regionale tag gebruikt, beperkt u de toegang tot Azure Databricks IP-adressen in de regio van uw werkruimte, waardoor de blootstelling wordt verminderd ten opzichte van de globale tag.
7. Klik op Toevoegen.

Stap 4: De configuratie controleren

Nadat u uw NSP hebt geconfigureerd, controleert u of Azure Databricks serverloze berekening toegang heeft tot uw opslag en de NSP-activiteit kan bewaken.

Toegang testen vanuit serverloze rekenkracht

1. Ga naar uw Azure resource in de Azure-portal.

2. Ga naar Beveiliging en netwerken>.

3. Controleer of de resource een koppeling met uw netwerkbeveiligingsperimeter weergeeft.

4. Controleer of de status de overgangsmodus weergeeft.

5. Bekijk de regels voor inkomend verkeer die zijn gekoppeld aan uw profiel om te bevestigen dat de AzureDatabricksServerless regel wordt vermeld (regionaal of globaal).

6. Voer in uw Azure Databricks-werkruimte een testquery uit om te controleren of serverloze compute toegang heeft tot uw resource. Als u bijvoorbeeld de toegang tot een ADLS Gen2-opslagaccount wilt testen:

   SELECT * FROM delta.`abfss://container@storageaccount.dfs.core.windows.net/path/to/data` LIMIT 10;
   

   Als de query slaagt, werkt uw NSP-configuratie correct.

NSP-activiteit bewaken

Verbindingen monitoren die door NSP-regels zijn toegestaan of geweigerd:

1. Ga naar uw Azure resource in de Azure-portal.

2. Ga naar Monitoring>Diagnostische instellingen.

3. Klik Diagnostische instelling toevoegen.

4. Selecteer de logboekcategorieën die u wilt bewaken. Voor Azure Storage-accounts selecteert u:

   • StorageRead
   • StorageWrite

5. Selecteer een bestemming:

   • Log Analytics-werkruimte (aanbevolen voor het uitvoeren van query's en analyses)
   • Opslagaccount (voor langetermijnarchivering)
   • Event Hub (voor streaming naar externe systemen)

6. Klik op Opslaan.

   Tip

   Diagnostische logboeken tonen verbindingspogingen die overeenkomen met NSP-regels in vergelijking met resourcefirewallregels. In de overgangsmodus geven de logboeken aan of elke aanvraag is toegestaan door een NSP-regel of is teruggevallen naar de resourcefirewall.

Informatie over NSP-toegangsmodi

NSP ondersteunt twee toegangsmodi: overgangsmodus en afgedwongen modus. Azure Databricks raadt de overgangsmodus voor onbepaalde tijd aan voor de meeste gebruiksscenario's.

Overgangsmodus (aanbevolen):

• Controleert eerst NSP-regels en valt vervolgens terug op firewallregels voor resources als er geen NSP-regel overeenkomt.
• Hiermee kunt u NSP naast bestaande netwerkconfiguraties gebruiken.
• Compatibel met service-eindpunten, klassieke rekenconfiguraties en patronen voor openbaar netwerkverkeer.

Afgedwongen modus (niet aanbevolen voor de meeste klanten):

• Hiermee worden firewallregels voor resources omzeild, waardoor al het verkeer dat niet overeenkomt met een NSP-regel, wordt geblokkeerd. De afgedwongen modus is niet alleen van invloed op Azure Databricks, maar ook op andere services die u hebt toegestaan via uw resourcefirewall. Deze services moeten zijn toegevoegd aan NSP om door te gaan met werken.
• Blijf in de overgangsmodus als u service-eindpunten gebruikt om vanuit Azure Databricks werkruimten verbinding te maken met opslag.

Toegang tot andere resources configureren met behulp van uitgaande IP-adressen

Voor andere resources dan Azure-opslagaccounts in dezelfde regio als uw werkruimte, gebruikt serverloze rekenkracht openbare IP-adressen om uw resources te bereiken.

Als u serverloze toegang wilt tot resources met firewalls, moet u de CIDR-blokken toevoegen die zijn gepubliceerd door Azure Databricks aan uw acceptatielijst. Zie Uitgaande IP-adressen voor preview van firewall voor serverloze rekenkracht voor meer informatie over gepubliceerde uitgaande IP-adressen.

De uitgaande IP-adressen voor uw omgeving zoeken

1. Downloaden ip-ranges.json.
2. Filter de JSON op de vermeldingen die van toepassing zijn op uw werkruimte. Behoud alleen vermeldingen waar:
   • service is Databricks
   • type is outbound
   • region komt overeen met uw werkruimteregio
   • platform komt overeen met azure
3. Voeg de ipv4Prefixes (CIDR-blokken) van de overeenkomende vermeldingen toe aan de lijst met toegestane items in de firewall van uw resource.

Updates automatiseren om uw acceptatielijst actueel te houden

U moet updates voor uw acceptatielijst automatiseren. Azure Databricks deze IP-adressen na verloop van tijd wijzigt, waardoor een statische, eenmalige kopie uiteindelijk geen serverloze connectiviteit meer heeft. Updates worden zo vaak gepubliceerd als elke 30 dagen, nieuwe IP-adressen worden actief zodra 60 dagen na publicatie en nieuwe regio's periodiek worden toegevoegd. Uw acceptatielijst actueel houden:

1. Haal ip-ranges.json volgens een planning op (bijvoorbeeld elke 30 dagen).
2. Vergelijk het timestampSeconds veld met uw opgeslagen kopie om wijzigingen te detecteren.
3. Als dit is gewijzigd, controleer dan of de IP-adressen van uw platform en region zijn gewijzigd.
4. Werk de acceptatielijst van uw firewall bij met nieuwe IP-adressen.
5. Sla het bestand op voor de volgende vergelijking.

Considerations

Bekijk de volgende overwegingen voordat u een firewall configureert voor serverloze berekeningen:

• Het configureren van een firewall is ook van invloed op de connectiviteit van klassieke rekenresources. U moet ook de toegangsregels voor resources bijwerken om de IP-adressen voor verbindingen van klassieke rekenresources toe te staan.
• Wacht totdat firewallregels zijn doorgevoerd voordat u de verbinding vanaf serverloze rekenresources test.

Volgende stappen 

• Configureer privéconnectiviteit met resources in uw VPC: Gebruik PrivateLink om beveiligde en geïsoleerde toegang tot resources in uw VPC tot stand te brengen vanaf serverloze berekeningen. Zie Privéconnectiviteit configureren voor resources in uw VNet.
• Regels voor privé-eindpunten beheren: regels voor privé-eindpunten weergeven, bijwerken en verwijderen voor de configuratie van uw netwerkconnectiviteit. Zie Regels voor privé-eindpunten beheren.