Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Questa funzionalità è in Anteprima Pubblica.
Questa pagina descrive come i provider configurano OpenSharing SecureConnect per condividere i dati nell'archiviazione cloud protetta da un firewall o da un endpoint privato, senza dover inserire nella allowlist la rete di ciascun destinatario.
Funzionamento di SecureConnect
Prima di abilitare SecureConnect in un account Azure Databricks, un provider esegue una configurazione una tantum. Questa configurazione consente ai destinatari di Azure Databricks di accedere allo storage del provider protetto da un firewall o da un endpoint privato. Azure Databricks quindi instrada le richieste dei destinatari tramite un proxy gestito, pertanto il provider non deve aggiornare il firewall di archiviazione quando si aggiunge un nuovo destinatario.
I destinatari accedono ai dati condivisi usando la configurazione opensharing esistente:
- I destinatari di Azure Databricks con elaborazione serverless possono accedere alle condivisioni senza modifiche al firewall per ogni provider.
- I recipienti di Azure Databricks che usano il calcolo classico e i recipienti aperti inseriscono nella allowlist un unico insieme di indirizzi IP del piano di controllo di Azure Databricks per la regione del provider.
Senza SecureConnect, un provider deve aggiungere l'identificatore di rete di ogni destinatario al firewall di archiviazione, coordinandosi con il destinatario e un amministratore della piattaforma cloud per ogni nuovo destinatario.
Requisiti
- È necessario abilitare l'anteprima di OpenSharing SecureConnect nella console account . Vedere Gestire le anteprime di Azure Databricks.
Configurare SecureConnect come provider
La configurazione di SecureConnect comporta la configurazione del firewall di archiviazione per consentire l'accesso e abilitare SecureConnect per i metastore e i destinatari.
Passaggio 1: Configurare il firewall di archiviazione
Per i costi di rete più bassi, mantenere l'area degli asset condivisi uguale all'area del metastore del provider.
Le istruzioni seguenti presuppongono che gli asset condivisi e il metastore del provider si trovino nella stessa area.
SecureConnect accede allo spazio di archiviazione tramite il piano dati serverless. Per consentire ad Azure Databricks di accedere alle risorse, associare la risorsa di Azure a un perimetro di sicurezza di rete in modalità di transizione e consentire il tag di servizio AzureDatabricksServerless. Vedere Configurare un perimetro di sicurezza di rete Azure per le risorse Azure.
(Facoltativo) Configurare la connettività privata con una configurazione di connettività di rete (NCC)
Se l'archiviazione condivisa si trova dietro un endpoint privato e non è raggiungibile dalla rete pubblica, un amministratore dell'account deve configurare una configurazione di connettività di rete (NCC) e collegarla al metastore che ospita i dati condivisi. Per altre informazioni sui controller di rete, vedere Che cos'è una configurazione di connettività di rete (NCC)?.
Un NCC collegato a un'area di lavoro non può essere collegato a un metastore. Un NCC applicato a un metastore per OpenSharing si applica a tutte le condivisioni collegate al metastore.
Crea un NCC e una regola di endpoint privato per il tuo account di archiviazione, ma non associare l'NCC a un'area di lavoro. Consultare Configurare la connettività privata per le risorse di Azure per la configurazione di NCC e dell'endpoint privato.
Collegare il NCC al metastore OpenSharing:
- In qualità di amministratore dell'account Azure Databricks, passare alla console dell'account.
- Nella barra laterale fare clic
Catalogo. - Fare clic sul nome del metastore OpenSharing per aprirne i relativi dettagli.
- In OpenSharing Network connectivity configuration (NCC), fai clic su Modifica.
- Cercare e selezionare il NCC creato per OpenSharing.
- Fai clic su Salva.
Importante
Se non è possibile associare un NCC a un metastore, contattare il team Databricks che gestisce l’account per abilitare la connettività privata per OpenSharing SecureConnect tramite un NCC.
Passaggio 2: Abilitare SecureConnect in un metastore
Un amministratore del metastore può configurare il metastore in modo che i nuovi destinatari usino automaticamente SecureConnect. Per impostazione predefinita, i destinatari nuovi ed esistenti non vengono registrati in SecureConnect. È necessario configurare i destinatari esistenti separatamente. Vedere Passaggio 3: Abilitare SecureConnect per singoli destinatari.
Per abilitare SecureConnect in un metastore:
Nell'area di lavoro Azure Databricks, fare clic su
Catalogo per aprire Esplora Catalogo.Nella parte superiore del riquadro Catalogo, fare clic sull'
e selezionare OpenSharing.In alternativa, nell'angolo superiore destro fare clic su Condividi > OpenSharing.
Fare clic su Impostazioni nell'angolo superiore destro.
Attivare l'impostazione abilita SecureConnect per i nuovi destinatari.
Fai clic su Salva.
Passaggio 3: Abilitare SecureConnect per singoli destinatari
I proprietari dei destinatari e gli utenti con privilegi USE_RECIPIENT attivano o disattivano SecureConnect per ogni destinatario. SecureConnect è disabilitato in un destinatario per impostazione predefinita, a meno che il metastore non sia stato impostato per abilitarlo per tutti i nuovi destinatari al momento della creazione del destinatario.
Per configurare SecureConnect su un destinatario:
Nell'area di lavoro di Azure Databricks fare clic
Catalogo.Nella parte superiore del riquadro Catalogo, fare clic sull'
e selezionare OpenSharing.In alternativa, nell'angolo superiore destro fare clic su Condividi > OpenSharing.
Nella scheda Condivisi da me fare clic sulla scheda Destinatari .
Attivare SecureConnect per ogni destinatario desiderato.
(Facoltativo) Passaggio 4: Limitare l'accesso ai destinatari aperti con ACL IP
Per i destinatari aperti, è possibile limitare gli indirizzi IP client autorizzati a raggiungere SecureConnect usando gli elenchi di accesso IP. Gli ACL IP si applicano solo ai destinatari aperti.
Con SecureConnect, gli ACL IP si applicano sia all'accesso all'endpoint OpenSharing che all'accesso alle risorse di archiviazione. Senza SecureConnect, gli ACL IP limitano solo l'accesso all'endpoint OpenSharing; gli URL di archiviazione rimangono raggiungibili da qualsiasi INDIRIZZO IP client.
Per istruzioni sull'installazione, vedere Limitare l'accesso dei destinatari OpenSharing usando gli elenchi di accesso IP (condivisione da Databricks a Open).
Note
Le modifiche dell'ACL IP per i destinatari aperti abilitati per SecureConnect possono richiedere fino a 10 minuti.
Scenari di condivisione supportati
Importante
Qualsiasi funzionalità non supportata ricade sull'accesso diretto dalla risorsa di calcolo del destinatario allo storage. Il provider deve concedere manualmente l'accesso agli indirizzi IP dei destinatari nel firewall di archiviazione. Vedi Che cos'è il protocollo OpenSharing da Databricks a Databricks? o Che cos'è il protocollo OpenSharing da Databricks a Open Sharing?.
SecureConnect supporta la condivisione con AWS, Azure e GCP.
MTLS to SecureConnect è supportato solo per i cluster destinatari serverless.
Supporto delle funzionalità
| Feature | D2O (token) | D2O (OIDC)* | D2O (Iceberg) | D2D (serverless) | D2D (versione classica) |
|---|---|---|---|---|---|
| Tabelle con cronologia e senza partizioni | ✓ | ✓ | ✗ | ✓** | ✓** |
| Tabelle senza cronologia o con partizioni | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✗ | ✓ |
| Tabelle esterne | ✓ | ✓ | ✗ | ✓ | ✓ |
| Viste materializzate | ✓ | ✓ | ✗ | ✗ | ✓ |
| Tabelle di streaming | ✓ | ✓ | ✗ | ✗ | ✓ |
| Volumi | ✗ | ✗ | ✗ | ✗ | ✗ |
| Notebooks | ✗ | ✗ | ✗ | ✗ | ✗ |
| Modelli di intelligenza artificiale | ✗ | ✗ | ✗ | ✗ | ✗ |
* La condivisione OIDC attualmente non funziona quando il destinatario è anche in Azure Databricks.
** L'ottimizzazione del token cloud non è disponibile per SecureConnect.
Limitations
- Gli asset non possono essere archiviati nell'archiviazione Cloudflare R2.
Per le limitazioni lato destinatario, ad esempio il supporto mTLS e le restrizioni di condivisione da Databricks a Open, vedere Limitazioni.
Le aree non supportate
SecureConnect non è disponibile in Azure Cina, Azure per enti pubblici o nelle aree Azure seguenti:
australiacentralaustraliacentral2australiasoutheastcanadaeastfrancecentraljapanwestkoreacentralmexicocentralnorthcentralusnorwayeastqatarcentralsouthafricanorthsouthindiaswitzerlandwestuaenorthukwestwestcentraluswestindiawestus3
Billing
Azure Databricks attualmente non prevede alcun addebito per il trasferimento dei dati SecureConnect. Per altri dettagli, vedere Imminente Azure modifiche alla fatturazione per OpenSharing SecureConnect.