Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Importante
Esse recurso está em Visualização Pública.
Esta página descreve como os provedores configuram o OpenSharing SecureConnect para compartilhar dados armazenados na nuvem que estão protegidos por um firewall ou endpoint privado, sem precisar incluir em uma lista de permissões a rede de cada destinatário.
Como o SecureConnect funciona
Antes de habilitar o SecureConnect em uma conta Azure Databricks, um provedor faz uma configuração única. Essa configuração permite que os destinatários do Azure Databricks acessem o armazenamento do provedor protegido por um firewall ou ponto de extremidade privado. Azure Databricks encaminha solicitações de destinatário por meio de um proxy gerenciado, portanto, o provedor não precisa atualizar o firewall de armazenamento ao adicionar um novo destinatário.
Os destinatários acessam dados compartilhados usando a configuração existente do OpenSharing:
- Os destinatários do Azure Databricks em computação sem servidor acessam compartilhamentos sem necessidade de alterações no firewall por provedor.
- Os destinatários do Azure Databricks na computação clássica e os destinatários abertos incluem na lista de permissões um único conjunto de IPs do plano de controle do Azure Databricks para a região do provedor.
Sem o SecureConnect, um provedor deve adicionar o identificador de rede de cada destinatário ao firewall de armazenamento, coordenando com o destinatário e um administrador de plataforma de nuvem para cada novo destinatário.
Requisitos
- A versão prévia do OpenSharing SecureConnect no Console da Conta deve estar habilitada. Consulte Gerenciar visualizações do Azure Databricks.
Configurar o SecureConnect como um provedor
A configuração do SecureConnect envolve a configuração do firewall de armazenamento para permitir o acesso e habilitar o SecureConnect para seus metastores e destinatários.
Etapa 1: Configurar o firewall de armazenamento
Para os custos de rede mais baixos, mantenha a região de seus ativos compartilhados igual à região do metastore do provedor.
As instruções a seguir pressupõem que seus ativos compartilhados e o metastore do provedor estão na mesma região.
O SecureConnect acessa seu armazenamento por meio do plano de dados sem servidor. Para permitir que o Azure Databricks acesse seus recursos, associe seu recurso do Azure a um perímetro de segurança de rede no modo de transição e adicione a marca de serviço AzureDatabricksServerless à lista de permissões. Consulte Configurar um perímetro de segurança de rede Azure para recursos Azure.
(Opcional) Configurar a conectividade privada com uma configuração de conectividade de rede (NCC)
Se o armazenamento compartilhado estiver atrás de um ponto de extremidade privado e não for acessível na rede pública, um administrador de conta deverá configurar uma NCC (configuração de conectividade de rede) e anexá-la ao metastore que hospeda seus dados compartilhados. Para obter mais informações sobre NCCs, consulte O que é uma NCC (configuração de conectividade de rede)?.
Um NCC anexado a um workspace não pode ser anexado a um metastore. Um NCC aplicado a um metastore para OpenSharing se aplica a todos os compartilhamentos anexados ao metastore.
Crie um NCC e uma regra de endpoint privado para sua conta de armazenamento, mas não anexe o NCC a um espaço de trabalho. Consulte Configurar a conectividade privada para recursos do Azure para configurar o NCC e o ponto de extremidade privado.
Anexe o NCC ao metastore do OpenSharing:
- Como administrador de conta Azure Databricks, vá para o console da conta.
- Na barra lateral, clique no
Catálogo. - Clique no nome do metastore do OpenSharing para abrir seus detalhes.
- Em NCC (configuração de conectividade de rede do OpenSharing), clique em Editar.
- Pesquise e selecione o NCC que você criou para o OpenSharing.
- Clique em Salvar.
Importante
Se não for possível anexar um NCC a um metastore, entre em contato com sua equipe de conta do Databricks para habilitar a conectividade privada para o OpenSharing SecureConnect usando um NCC.
Etapa 2: Habilitar o SecureConnect em um metastore
Um administrador de metastore pode configurar o metastore para que novos destinatários usem o SecureConnect automaticamente. Por padrão, os destinatários novos e existentes não são registrados no SecureConnect. Você deve configurar os destinatários existentes separadamente. Consulte a Etapa 3: Habilitar o SecureConnect para destinatários individuais.
Para habilitar o SecureConnect em um metastore:
No workspace Azure Databricks, clique em
Catalog para abrir o Catalog Explorer.Na parte superior do painel Catálogo , clique no
Ícone de engrenagem e selecione OpenSharing.Como alternativa, no canto superior direito, clique em Compartilhar > OpenSharing.
Clique em Configurações no canto superior direito.
Ative a configuração para Habilitar SecureConnect para novos destinatários.
Clique em Salvar.
Etapa 3: Habilitar o SecureConnect para destinatários individuais
Os proprietários dos destinatários e os usuários com o privilégio USE_RECIPIENT podem ativar ou desativar o SecureConnect para cada destinatário. O SecureConnect está desabilitado em um destinatário por padrão, a menos que o metastore tenha sido definido para habilitá-lo para todos os novos destinatários quando o destinatário foi criado.
Para configurar o SecureConnect em um destinatário:
No workspace Azure Databricks, clique em
Catalog.Na parte superior do painel Catálogo , clique no
Ícone de engrenagem e selecione OpenSharing.Como alternativa, no canto superior direito, clique em Compartilhar > OpenSharing.
Na guia Compartilhado por mim, clique na guia Destinatários.
Ative SecureConnect para cada destinatário desejado.
(Opcional) Etapa 4: Restringir o acesso de destinatário aberto com ACLs de IP
Para destinatários abertos, você pode restringir quais endereços IP do cliente têm permissão para acessar SecureConnect usando listas de acesso IP. As ACLs de IP se aplicam somente aos destinatários abertos.
Com o SecureConnect, as ACLs IP se aplicam tanto ao acesso ao endpoint OpenSharing quanto ao acesso ao armazenamento. Sem o SecureConnect, as ACLs de IP restringem apenas o acesso ao endpoint OpenSharing; as URLs de armazenamento permanecem acessíveis a partir de qualquer IP de cliente.
Para obter instruções de configuração, consulte Restringir o acesso dos destinatários do OpenSharing com listas de acesso por IP (compartilhamento Databricks-to-Open).
Note
As alterações de ACL de IP para destinatários abertos habilitados para SecureConnect podem levar até 10 minutos para entrar em vigor.
Cenários de compartilhamento com suporte
Importante
Qualquer funcionalidade não compatível usa como alternativa o acesso direto do ambiente de computação do destinatário até o armazenamento. O provedor deve conceder manualmente acesso aos IPs de destinatário no firewall de armazenamento. Veja o que é o protocolo OpenSharing Databricks-to-Databricks? Ou o que é o protocolo de compartilhamento OpenSharing Databricks-to-Open?.
O SecureConnect dá suporte ao compartilhamento para AWS, Azure e GCP.
O mTLS para SecureConnect tem suporte apenas para clusters de destinatários sem servidor.
Suporte de funcionalidades
| Característica | D2O (token) | D2O (OIDC)* | D2O (Iceberg) | D2D (sem servidor) | D2D (clássico) |
|---|---|---|---|---|---|
| Tabelas com histórico e sem partições | ✓ | ✓ | ✗ | ✓** | ✓** |
| Tabelas sem histórico ou com partições | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✗ | ✓ |
| Tabelas estrangeiras | ✓ | ✓ | ✗ | ✓ | ✓ |
| Visões materializadas | ✓ | ✓ | ✗ | ✗ | ✓ |
| Tabelas de streaming | ✓ | ✓ | ✗ | ✗ | ✓ |
| Volumes | ✗ | ✗ | ✗ | ✗ | ✗ |
| Notebooks | ✗ | ✗ | ✗ | ✗ | ✗ |
| Modelos de IA | ✗ | ✗ | ✗ | ✗ | ✗ |
* O compartilhamento OIDC não funciona no momento quando o destinatário também está no Azure Databricks.
** A otimização de token de nuvem não está disponível para SecureConnect.
Limitações
- Seus ativos não podem ser apoiados pelo armazenamento Cloudflare R2.
Para limitações no lado do destinatário, como suporte a mTLS e restrições de compartilhamento do Databricks para o Open, consulte Limitações.
Regiões sem suporte
O SecureConnect não está disponível no Azure China, Azure Governamental ou nas seguintes regiões de Azure:
australiacentralaustraliacentral2australiasoutheastcanadaeastfrancecentraljapanwestkoreacentralmexicocentralnorthcentralusnorwayeastqatarcentralsouthafricanorthsouthindiaswitzerlandwestuaenorthukwestwestcentraluswestindiawestus3
Faturamento
Azure Databricks não cobra atualmente pela transferência de dados do SecureConnect. Consulte as alterações futuras de cobrança de Azure para OpenSharing SecureConnect para obter mais detalhes.