Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Esta página descreve como os fornecedores configuram o OpenSharing SecureConnect para partilhar dados a partir de armazenamento em nuvem que está atrás de um firewall ou endpoint privado, sem necessidade de listar a rede de cada destinatário.
Como funciona o SecureConnect
Antes de ativar o SecureConnect numa conta Azure Databricks, um fornecedor faz uma configuração única. Esta configuração permite que os destinatários do Azure Databricks acedam ao armazenamento do fornecedor atrás de um firewall ou endpoint privado. O Azure Databricks encaminha então os pedidos do destinatário através de um proxy gerido, para que o fornecedor não precise de atualizar o firewall de armazenamento ao adicionar um novo destinatário.
Os destinatários acedem a dados partilhados usando a sua configuração OpenSharing existente:
- Os destinatários do Azure Databricks acedem a partilhas com computação sem servidor, sem alterações na firewall por fornecedor.
- Os destinatários do Azure Databricks no classic compute e os destinatários abertos permitem listar um único conjunto de IPs do Azure Databricks control plane para a região do fornecedor.
Sem o SecureConnect, um fornecedor deve adicionar o identificador de rede de cada destinatário ao seu firewall de armazenamento, coordenando com o destinatário e um administrador da plataforma cloud para cada novo destinatário.
Requirements
- A pré-visualização do OpenSharing SecureConnect na Consola da Conta deve estar ativada. Ver Gerir as pré-visualizações de Azure Databricks.
Configure o SecureConnect como fornecedor
Configurar o SecureConnect envolve configurar o firewall de armazenamento para permitir o acesso e ativar o SecureConnect para os seus metastores e destinatários.
Passo 1: Configure o seu firewall de armazenamento
Para os custos de rede mais baixos, mantenha a região dos seus ativos partilhados igual à região da metastore do seu fornecedor.
As instruções seguintes assumem que os seus ativos partilhados e a metastore do fornecedor estão na mesma região.
O SecureConnect acede ao seu armazenamento através do plano de dados serverless. Para permitir que o Azure Databricks aceda aos seus recursos, associe o seu recurso do Azure a um perímetro de segurança de rede em modo de transição e adicione a tag de serviço AzureDatabricksServerless à lista de permissões. Consulte Configurar um perímetro de segurança de rede Azure para recursos Azure.
(Opcional) Configurar conectividade privada com uma configuração de conectividade de rede (NCC)
Se o seu armazenamento partilhado estiver atrás de um endpoint privado e não for acessível a partir da rede pública, um administrador de conta deve configurar uma configuração de conectividade de rede (NCC) e anexá-la à metastore que aloja os seus dados partilhados. Para mais informações sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.
Um NCC ligado a um espaço de trabalho não pode estar ligado a uma metastore. Um NCC aplicado a um metaarmazenamento do OpenSharing aplica-se a todas as partilhas anexadas ao metaarmazenamento.
Crie um NCC e uma regra de endpoint privado para a sua conta de armazenamento, mas não anexe o NCC a um espaço de trabalho. Veja Configurar conectividade privada a recursos Azure para NCC e configuração de endpoints privados.
Anexe o NCC à sua metastore OpenSharing:
- Como administrador de contas Azure Databricks, aceda à consola de contas.
- Na barra lateral, clique no
Catálogo. - Clique no nome da metastore OpenSharing para abrir os seus detalhes.
- Na configuração de conectividade de rede OpenSharing (NCC), clique em Editar.
- Procure e selecione o NCC que criou para o OpenSharing.
- Clique em Salvar.
Important
Se não conseguir ligar um NCC a uma metastore, contacte a equipa da sua conta Databricks para ativar a conectividade privada do OpenSharing SecureConnect usando um NCC.
Passo 2: Ativar o SecureConnect numa metastore
Um administrador da metastore pode configurar a metastore para que novos destinatários usem automaticamente o SecureConnect. Por defeito, novos e atuais destinatários não estão inscritos no SecureConnect. Deve configurar os destinatários existentes separadamente. Veja o Passo 3: Ative o SecureConnect para os destinatários individuais.
Para ativar o SecureConnect numa metastore:
No seu espaço de trabalho do Azure Databricks, clique no
Catálogo para abrir o Catalog Explorer.No topo do painel de Catálogo , clique no
ícone de engrenagem e selecione OpenSharing.Alternativamente, no canto superior direito, clique em Partilhar > OpenSharing.
Clique em Definições no canto superior direito.
Ativa a opção de Ativar o SecureConnect para novos destinatários.
Clique em Salvar.
Passo 3: Ativar o SecureConnect para destinatários individuais
Os proprietários dos destinatários e os utilizadores com o privilégio USE_RECIPIENT ativam ou desativam o SecureConnect para cada destinatário. O SecureConnect está desativado num destinatário por defeito, a menos que a metastore estivesse configurada para o ativar para todos os novos destinatários quando o destinatário foi criado.
Para configurar o SecureConnect num destinatário:
No seu espaço de trabalho do Azure Databricks, clique no
Catálogo.No topo do painel de Catálogo , clique no
ícone de engrenagem e selecione OpenSharing.Alternativamente, no canto superior direito, clique em Partilhar > OpenSharing.
No separador Partilhado por mim , clique no separador Destinatários .
Ativa o SecureConnect para cada destinatário desejado.
(Opcional) Passo 4: Restringir o acesso aberto do destinatário com ACLs IP
Para destinatários abertos, pode restringir quais os endereços IP dos clientes autorizados a aceder ao SecureConnect usando listas de acesso IP. As ACLs IP aplicam-se apenas a destinatários abertos.
Com o SecureConnect, as ACLs IP aplicam-se tanto ao acesso ao endpoint OpenSharing como ao acesso ao armazenamento. Sem o SecureConnect, as ACLs IP restringem apenas o acesso ao endpoint OpenSharing; Os URLs de armazenamento permanecem acessíveis a partir de qualquer IP do cliente.
Para instruções de configuração, consulte Restringir o acesso do destinatário OpenSharing usando listas de acesso IP (Databricks-to-Open sharing).
Note
As alterações de ACL IP para destinatários abertos com SecureConnect podem demorar até 10 minutos a entrar em vigor.
Cenários de partilha suportados
Important
Qualquer funcionalidade não suportada recua para o acesso direto do computador destinatário ao armazenamento. O fornecedor deve conceder manualmente o acesso aos IPs dos destinatários no seu firewall de armazenamento. Veja Qual é o protocolo OpenSharing Databricks-to-Databricks? ou O que é o protocolo de partilha OpenSharing Databricks-to-Open?.
O SecureConnect suporta partilha com AWS, Azure e GCP.
O mTLS para o SecureConnect é suportado apenas para clusters de destinatários serverless.
Suporte de funcionalidades
| Feature | D2O (token) | D2O (OIDC)* | D2O (Iceberg) | D2D (sem servidor) | D2D (clássico) |
|---|---|---|---|---|---|
| Tabelas com história e sem partições | ✓ | ✓ | ✗ | ✓ ** | ✓ ** |
| Tabelas sem histórico ou com partições | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✗ | ✓ |
| Tabelas estrangeiras | ✓ | ✓ | ✗ | ✓ | ✓ |
| Visões materializadas | ✓ | ✓ | ✗ | ✗ | ✓ |
| Tabelas de streaming | ✓ | ✓ | ✗ | ✗ | ✓ |
| Volumes | ✗ | ✗ | ✗ | ✗ | ✗ |
| Notebooks | ✗ | ✗ | ✗ | ✗ | ✗ |
| Modelos de IA | ✗ | ✗ | ✗ | ✗ | ✗ |
* A partilha OIDC não funciona atualmente quando o destinatário também está no Azure Databricks.
** A otimização de tokens cloud não está disponível para o SecureConnect.
Limitations
- Os seus ativos não podem ser armazenados no Cloudflare R2.
Para limitações do lado do destinatário, como o suporte a mTLS e as restrições de partilha de Databricks para Open, veja Limitações.
Regiões não suportadas
O SecureConnect não está disponível no Azure China, Azure Government ou nas seguintes regiões do Azure:
australiacentralaustraliacentral2australiasoutheastcanadaeastfrancecentraljapanwestkoreacentralmexicocentralnorthcentralusnorwayeastqatarcentralsouthafricanorthsouthindiaswitzerlandwestuaenorthukwestwestcentraluswestindiawestus3
Billing
O Azure Databricks atualmente não cobra pela transferência de dados do SecureConnect. Consulte as próximas alterações de faturação do Azure para OpenSharing SecureConnect para mais detalhes.