Configurar um NSP (perímetro de segurança de rede) Azure para recursos de Azure

A computação serverless do Azure Databricks se conecta aos seus recursos de nuvem por meio de infraestrutura de rede gerenciada. Se os firewalls protegerem seus recursos de nuvem, você deverá permitir o tráfego da computação sem servidor. O método de configuração depende do tipo de recurso:

• Contas de Armazenamento do Azure na região do seu espaço de trabalho: Associe sua conta de armazenamento a um perímetro de segurança de rede (NSP) e permita a AzureDatabricksServerless tag de serviço.

• Outros recursos: Adicione à lista de permissões os endereços IP de saída publicados pelo Azure Databricks.

Configurar um perímetro de segurança de rede Azure para contas de armazenamento Azure

Um NSP (perímetro de segurança de rede) Azure é um recurso Azure interno que cria um limite de isolamento lógico para seus recursos paaS (plataforma como serviço). Ao associar suas contas de armazenamento a um NSP, você gerencia o tráfego de rede centralmente com um conjunto de regras simplificado em vez de manter listas complexas de endereços IP individuais ou IDs de sub-rede. Esta seção descreve como configurar um NSP para controlar o acesso de computação sem servidor às suas contas de armazenamento Azure usando o portal Azure.

O NSP dá suporte ao acesso de SQL warehouses sem servidor, jobs, notebooks, Pipelines Declarativas do Lakeflow Spark e endpoints de serviço de modelo.

Principais benefícios

O uso do NSP para o tráfego de saída sem servidor do Azure Databricks melhora sua postura de segurança, reduzindo significativamente a sobrecarga operacional:

Serviços de Azure com suporte

A marca de serviço AzureDatabricksServerless é compatível somente com regras de entrada do NSP direcionadas ao Armazenamento do Azure (incluindo o ADLS Gen2) na região do espaço de trabalho.

Requisitos

Antes de começar, você precisa atender aos seguintes requisitos:

• Você precisa ser um administrador da conta do Azure Databricks.
• Você deve ter permissões de Colaborador ou Proprietário no recurso do Azure que deseja configurar.
• Você deve ter permissão para criar recursos de perímetro de segurança de rede em sua assinatura do Azure.
• O workspace Azure Databricks e os recursos de Azure devem estar na mesma região Azure para obter um desempenho ideal e evitar encargos de transferência de dados entre regiões.

Etapa 1: Criar um perímetro de segurança de rede e observar a ID do perfil

Para criar o perímetro e anotar o ID do perfil, faça o seguinte:

1. Entre no portal do Azure.

2. Na caixa de pesquisa na parte superior, insira os perímetros de segurança de rede e selecione-os nos resultados.

3. Clique em + Criar.

4. Na guia Noções básicas, insira as seguintes informações:

   • Assinatura: selecione sua assinatura do Azure.
   • Grupo de recursos: selecione um grupo de recursos existente ou crie um.
   • Nome: insira um nome para o NSP (por exemplo, databricks-nsp).
   • Região: selecione a região para o NSP. A região deve corresponder à região do workspace Azure Databricks e à região de sua conta de armazenamento Azure.
   • Nome do perfil: insira um nome de perfil (por exemplo, databricks-profile).

5. Clique em Examinar + criar e, em seguida, criar.

6. Depois que o NSP for criado, acesse-o no portal Azure.

7. Na barra lateral esquerda, vá para Perfis de Configurações>.

8. Crie ou selecione seu perfil (por exemplo, databricks-profile).

9. Copie a ID do recurso para o perfil. Você precisa dessa ID para associar recursos programaticamente.

   Dica

   Salve a ID do perfil em um local seguro. Você deve tê-lo disponível se quiser associar recursos usando o CLI do Azure ou a API em vez do portal Azure.

Etapa 2: Associar sua conta de armazenamento ao NSP no modo de transição

Você deve associar cada conta de armazenamento Azure que deseja acessar de Azure Databricks computação sem servidor ao seu perfil NSP seguindo as etapas abaixo:

1. Vá para o perímetro de segurança da rede no portal do Azure.
2. Na barra lateral esquerda, vá para recursos associados em Configurações.
3. Clique em + Adicionar>recursos associados a um perfil existente.
4. Selecione o perfil que você criou na Etapa 1 (por exemplo, databricks-profile).
5. Clique em Associar.
6. No painel de seleção de recursos, filtre Microsoft.Storage/storageAccounts para associar uma conta Azure Data Lake Storage Gen2.
7. Selecione suas contas de armazenamento na lista.
8. Clique em Associar na parte inferior do painel.

Verificar o modo de transição:

1. No NSP, vá para configurações>.
2. Localize sua conta de armazenamento na lista.
3. Verifique se a coluna Modo de Acesso mostra a Transição. A transição é o modo padrão.

Etapa 3: Adicionar uma regra de acesso de entrada para computação sem servidor do Azure Databricks

Você deve criar uma regra de acesso de entrada em seu perfil NSP para permitir o tráfego da computação sem servidor do Azure Databricks para seus recursos do Azure.

1. Vá para o perímetro de segurança da rede no portal do Azure.
2. Na barra lateral esquerda, vá para Perfis de Configurações>.
3. Selecione seu perfil (por exemplo, databricks-profile).
4. Em Configurações , clique em Regras de Acesso de Entrada.
5. Clique em + Adicionar.
6. Configure a regra:
   • Nome da regra: insira um nome descritivo (por exemplo, allow-databricks-serverless).
   • Tipo de origem: selecionar marca de serviço.
   • Fontes permitidas: Selecione AzureDatabricksServerless.[ your_workspace_region] (por exemplo, AzureDatabricksServerless.EastUS2). O uso de uma tag regional limita o acesso aos IPs do Azure Databricks à região do seu workspace, o que reduz a exposição em comparação com a tag global.
7. Clique em Adicionar.

Etapa 4: Verificar a configuração

Depois de configurar o NSP, verifique se Azure Databricks computação sem servidor pode acessar o armazenamento e monitorar a atividade NSP.

Teste de acesso a partir da computação sem servidor

1. Vá para o recurso Azure no portal do Azure.

2. Vá para Segurança + Networking>Rede.

3. Verifique se o recurso mostra uma associação com o perímetro de segurança de rede.

4. Verifique se o status mostra o modo transição.

5. Exiba as regras de entrada associadas ao seu perfil para confirmar se a AzureDatabricksServerless regra está listada (regional ou global).

6. No workspace do Azure Databricks, execute uma consulta de teste para confirmar se a computação sem servidor pode acessar seu recurso. Por exemplo, para testar o acesso a uma conta de armazenamento do ADLS Gen2:

   SELECT * FROM delta.`abfss://container@storageaccount.dfs.core.windows.net/path/to/data` LIMIT 10;
   

   Se a consulta for bem-sucedida, a configuração do NSP estará funcionando corretamente.

Monitorar a atividade NSP

Para monitorar as tentativas de conexão que as regras NSP permitem ou negam:

1. Vá para o recurso Azure no portal do Azure.

2. Ir para Monitoramento>Configurações de Diagnóstico.

3. Clique em + Adicionar configuração de diagnóstico.

4. Selecione as categorias de log que você deseja monitorar. Para contas Armazenamento do Azure, selecione:

   • StorageRead
   • StorageWrite

5. Selecione um destino:

   • Espaço de Trabalho do Log Analytics (recomendado para consulta e análise)
   • Conta de armazenamento (para arquivamento de longo prazo)
   • Hub de Eventos (para streaming para sistemas externos)

6. Clique em Salvar.

   Dica

   Os logs de diagnóstico mostram tentativas de conexão que foram filtradas por regras do NSP comparadas às regras de firewall dos recursos. No modo de transição, os logs indicam se cada solicitação foi permitida por uma regra NSP ou caiu de volta para o firewall de recurso.

Noções básicas sobre os modos de acesso NSP

O NSP dá suporte a dois modos de acesso: modo de transição e modo imposto. O Azure Databricks recomenda permanecer no modo de transição indefinidamente para a maioria dos casos de uso.

Modo de transição (recomendado):

• Avalia primeiro as regras de NSP e, em seguida, recorre às regras de firewall do recurso se nenhuma regra de NSP corresponder.
• Permite que você use o NSP junto com as configurações de rede existentes.
• Compatível com pontos de extremidade de serviço, configurações de computação clássicas e padrões de tráfego de rede pública.

Modo forçado (não recomendado para a maioria dos clientes):

• Ignora as regras de firewall de recursos, bloqueando todo o tráfego que não corresponda a uma regra NSP. O modo imposto afeta não apenas Azure Databricks, mas também todos os outros serviços que você permitiu por meio do firewall de recursos. Esses serviços devem ter sido integrados ao NSP para continuar funcionando.
• Permaneça no modo de transição se você usar pontos de extremidade de serviço para se conectar ao armazenamento de qualquer espaço de trabalho do Azure Databricks.

Configurar o acesso a outros recursos usando endereços IP de saída

Para recursos que não sejam contas de armazenamento do Azure na mesma região do seu workspace, a computação sem servidor usa endereços IP públicos para acessar seus recursos.

Para permitir que o serverless acesse recursos protegidos por firewalls, você deve adicionar à sua lista de permissões os blocos CIDR publicados pelo Azure Databricks. Para obter mais informações sobre os endereços IP de saída publicados, consulte IPs de saída para a versão prévia do firewall da computação sem servidor.

Localizar os endereços IP de saída para seu ambiente

1. Baixe o ip-ranges.json.
2. Filtre o JSON para as entradas que se aplicam ao seu espaço de trabalho. Mantenha somente as entradas em que:
   • service é Databricks
   • type é outbound
   • region corresponde à região do espaço de trabalho
   • platform corresponde a azure
3. Adicione à lista de permissões os ipv4Prefixes (blocos CIDR) das entradas correspondentes no firewall do recurso.

Automatizar atualizações para manter sua lista de permissões atual

Você deve automatizar as atualizações na lista de permissões. Azure Databricks altera esses IPs ao longo do tempo, portanto, uma cópia estática e única eventualmente quebra a conectividade sem servidor. As atualizações são publicadas uma vez a cada 30 dias, novos IPs ficam ativos assim que 60 dias após a publicação e novas regiões são adicionadas periodicamente. Para manter sua lista de permitidos atual:

1. Buscar ip-ranges.json em um agendamento (por exemplo, a cada 30 dias).
2. Compare seu timestampSeconds campo com a cópia salva para detectar alterações.
3. Se isso mudou, verifique se os IPs do seu platform e do seu region foram alterados.
4. Atualize sua lista de permissões de firewall com quaisquer novos IPs.
5. Salve o arquivo para a próxima comparação.

Considerações

Examine as seguintes considerações antes de configurar um firewall para computação sem servidor:

• A configuração de um firewall também afeta a conectividade dos recursos de computação clássicos. Você também deve atualizar suas regras de acesso a recursos para permitir os IPs para conexões de recursos de computação clássicos.
• Permita tempo para propagação de regra de firewall antes de testar a conectividade da computação sem servidor.

Próximas Etapas 

• Configure a conectividade privada com recursos em seu VPC: use PrivateLink para estabelecer acesso seguro e isolado aos recursos em seu VPC a partir da computação sem servidor. Veja Configuração da conectividade privada com recursos em sua VNet.
• Gerenciar regras de ponto de extremidade privado: exibir, atualizar e remover regras de ponto de extremidade privado para sua configuração de conectividade de rede. Consulte Gerenciar regras de ponto de extremidade privado.