Freigeben von Daten hinter einer Firewall mit SecureConnect

Important

Dieses Feature befindet sich in der Public Preview.

Auf dieser Seite wird beschrieben, wie Anbieter OpenSharing SecureConnect einrichten, um Daten aus dem Cloudspeicher freizugeben, die sich hinter einer Firewall oder einem privaten Endpunkt befinden, ohne das Netzwerk jedes Empfängers zulassen zu müssen.

Funktionsweise von SecureConnect

Bevor Sie SecureConnect für ein Azure Databricks-Konto aktivieren, erstellt ein Anbieter eine einmalige Konfiguration. Diese Konfiguration ermöglicht Azure Databricks Empfängern den Zugriff auf den Speicher des Anbieters hinter einer Firewall oder einem privaten Endpunkt. Azure Databricks leitet dann Empfängeranforderungen über einen verwalteten Proxy weiter, sodass der Anbieter seine Speicherfirewall beim Hinzufügen eines neuen Empfängers nicht aktualisieren muss.

Empfänger greifen mithilfe ihrer vorhandenen OpenSharing-Einrichtung auf freigegebene Daten zu:

  • Azure Databricks-Empfänger können über serverlose Rechenkapazitäten auf Freigaben zugreifen, ohne dass Firewalländerungen bei jedem Anbieter erforderlich sind.
  • Azure Databricks-Empfänger auf klassischem Compute und Open-Empfänger setzen für die Region des Anbieters eine einzelne Gruppe von Azure Databricks-Control-Plane-IPs auf die Zulassungsliste.

Ohne SecureConnect muss ein Anbieter die Netzwerk-ID jedes Empfängers zu seiner Speicherfirewall hinzufügen, die mit dem Empfänger und einem Cloudplattformadministrator für jeden neuen Empfänger koordiniert wird.

Anforderungen

Einrichten von SecureConnect als Anbieter

Das Einrichten von SecureConnect umfasst die Konfiguration Ihrer Speicherfirewall für den Zugriff und die Aktivierung von SecureConnect für Ihre Metastores und Empfänger.

Schritt 1: Konfigurieren der Speicherfirewall

Um die Netzwerkkosten so gering wie möglich zu halten, verwenden Sie für Ihre gemeinsam genutzten Ressourcen dieselbe Region wie für die Metastore-Region Ihres Anbieters.

Die folgenden Anweisungen setzen voraus, dass sich Ihre freigegebenen Assets und der Metastore des Anbieters in derselben Region befinden.

SecureConnect greift über die serverlose Datenebene auf Ihren Speicher zu. Um Azure Databricks den Zugriff auf Ihre Ressourcen zu ermöglichen, verknüpfen Sie Ihre Azure-Ressource mit einem Netzwerksicherheitsperimeter im Übergangsmodus und setzen Sie den Diensttag AzureDatabricksServerless auf die Zulassungsliste. Siehe Konfigurieren eines Azure-Netzwerksicherheitsperimeters für Azure-Ressourcen.

(Optional) Konfigurieren der privaten Konnektivität mit einer Netzwerkkonnektivitätskonfiguration (NCC)

Wenn sich Ihr freigegebener Speicher hinter einem privaten Endpunkt befindet und nicht über das öffentliche Netzwerk erreichbar ist, muss ein Kontoadministrator eine Netzwerkkonnektivitätskonfiguration (Network Connectivity Configuration, NCC) konfigurieren und an den Metaspeicher anfügen, in dem Ihre freigegebenen Daten gehostet werden. Weitere Informationen zu NCCs finden Sie unter Was ist eine Netzwerkkonnektivitätskonfiguration (Network Connectivity Configuration, NCC)?.

Ein an einen Arbeitsbereich angefügter NCC kann nicht an einen Metaspeicher angefügt werden. Ein NCC, der auf einen Metastore für OpenSharing angewendet wird, gilt für alle Freigaben, die dem Metastore zugeordnet sind.

Erstellen Sie eine NCC- und eine private Endpunktregel für Ihr Speicherkonto, fügen Sie den NCC jedoch nicht an einen Arbeitsbereich an. Weitere Informationen finden Sie unter Konfigurieren der privaten Konnektivität zu Azure Ressourcen für die Einrichtung von NCC und privaten Endpunkten.

Fügen Sie den NCC an Ihren OpenSharing-Metaspeicher an:

  1. Wechseln Sie als Azure Databricks Kontoadministrator zur Kontokonsole.
  2. Klicken Sie in der Randleiste auf das Datensymbol.Katalog.
  3. Klicken Sie auf den Namen des OpenSharing-Metastores, um die Details zu öffnen.
  4. Klicken Sie unter OpenSharing Network Connectivity Configuration (NCC) auf "Bearbeiten".
  5. Suchen Sie nach dem NCC, das Sie für OpenSharing erstellt haben, und wählen Sie es aus.
  6. Klicke auf Speichern.

Important

Wenn Sie keine NCC an einen Metastore anfügen können, wenden Sie sich an Ihr Databricks-Kontoteam, um private Konnektivität für OpenSharing SecureConnect mithilfe eines NCC zu aktivieren.

Schritt 2: Aktivieren von SecureConnect in einem Metastore

Ein Metastoreadministrator kann den Metastore so konfigurieren, dass neue Empfänger Automatisch SecureConnect verwenden. Standardmäßig werden neue und vorhandene Empfänger nicht in SecureConnect registriert. Sie müssen vorhandene Empfänger separat konfigurieren. Siehe Schritt 3: Aktivieren von SecureConnect für einzelne Empfänger.

So aktivieren Sie SecureConnect in einem Metastore:

  1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Datensymbol.Katalog zum Öffnen des Katalog-Explorers.

  2. Klicken Sie oben im Bereich Katalog auf das Zahnradsymbol und wählen Sie OpenSharing aus.

    Alternativ klicken Sie oben rechts auf Teilen > OpenSharing.

  3. Klicken Sie in der oberen rechten Ecke auf "Einstellungen ".

  4. Aktivieren Sie die Einstellung für "SecureConnect aktivieren" für neue Empfänger.

  5. Klicke auf Speichern.

Schritt 3: Aktivieren von SecureConnect für einzelne Empfänger

Empfängerbesitzer und Benutzer mit den USE_RECIPIENT Berechtigungen aktivieren oder deaktivieren SecureConnect für jeden Empfänger. SecureConnect ist standardmäßig für einen Empfänger deaktiviert, es sei denn, der Metastore wurde so festgelegt, dass er für alle neuen Empfänger aktiviert wurde, wenn der Empfänger erstellt wurde.

So konfigurieren Sie SecureConnect für einen Empfänger:

  1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Datensymbol.Katalog.

  2. Klicken Sie oben im Bereich Katalog auf das Zahnradsymbol und wählen Sie OpenSharing aus.

    Alternativ klicken Sie oben rechts auf Teilen > OpenSharing.

  3. Klicken Sie auf der Registerkarte Von mir freigegeben auf die Registerkarte Empfänger.

  4. Aktivieren Sie SecureConnect für jeden gewünschten Empfänger.

(Optional) Schritt 4: Einschränken des offenen Empfängerzugriffs mit IP-ACLs

Bei geöffneten Empfängern können Sie einschränken, welche Client-IP-Adressen mithilfe von IP-Zugriffslisten SecureConnect erreichen dürfen. IP-ACLs gelten nur für geöffnete Empfänger.

Bei SecureConnect gelten IP-ACLs sowohl für den OpenSharing-Endpunktzugriff als auch für den Speicherzugriff. Ohne SecureConnect beschränken IP-ACLs nur den OpenSharing-Endpunktzugriff; Speicher-URLs bleiben von jeder Client-IP aus erreichbar.

Anweisungen zum Einrichten finden Sie unter Einschränken des OpenSharing-Empfängerzugriffs mithilfe von IP-Zugriffslisten (Databricks-to-Open Sharing).

Note

IP-ACL-Änderungen für offene Empfänger mit SecureConnect-Aktivierung können bis zu 10 Minuten in Kraft treten.

Unterstützte Freigabeszenarien

Important

Jede nicht unterstützte Funktion fällt auf den direkten Zugriff der Recheninstanz des Empfängers auf den Speicher zurück. Der Anbieter muss manuell Zugriff auf Empfänger-IPs in seiner Speicherfirewall gewähren. Siehe Was ist das OpenSharing Databricks-to-Databricks-Protokoll? oder Was ist das OpenSharing Databricks-to-Open-sharing-Protokoll?.

SecureConnect unterstützt das Teilen mit AWS, Azure und GCP.

mTLS to SecureConnect wird nur für serverlose Empfängercluster unterstützt.

Unterstützte Funktionen

Funktion D2O (Token) D2O (OIDC)* D2O (Iceberg) D2D (serverlos) D2D (klassisch)
Tabellen mit Verlauf und ohne Partitionen ✓ ✓ ✗ ✓** ✓**
Tabellen ohne Verlauf oder mit Partitionen ✓ ✓ ✗ ✓ ✓
Views ✓ ✓ ✗ ✗ ✓
Fremdtabellen ✓ ✓ ✗ ✓ ✓
Materialisierte Ansichten ✓ ✓ ✗ ✗ ✓
Streamingtabellen ✓ ✓ ✗ ✗ ✓
Volumina ✗ ✗ ✗ ✗ ✗
Notebooks ✗ ✗ ✗ ✗ ✗
KI-Modelle ✗ ✗ ✗ ✗ ✗

* Die OIDC-Freigabe funktioniert derzeit nicht, wenn der Empfänger ebenfalls Azure Databricks verwendet.

** Cloudtokenoptimierung ist für SecureConnect nicht verfügbar.

Einschränkungen

  • Ihre Ressourcen können nicht vom Cloudflare R2-Speicher gesichert werden.

Informationen zu empfängerseitigen Einschränkungen, z. B. mTLS-Unterstützung und Databricks-to-Open-Freigabeeinschränkungen, finden Sie unter "Einschränkungen".

Nicht unterstützte Regionen

SecureConnect ist in Azure China, Azure Government oder den folgenden Azure Regionen nicht verfügbar:

  • australiacentral
  • australiacentral2
  • australiasoutheast
  • canadaeast
  • francecentral
  • japanwest
  • koreacentral
  • mexicocentral
  • northcentralus
  • norwayeast
  • qatarcentral
  • southafricanorth
  • southindia
  • switzerlandwest
  • uaenorth
  • ukwest
  • westcentralus
  • westindia
  • westus3

Abrechnung

Azure Databricks stellt derzeit keine Gebühren für SecureConnect-Datenübertragungen in Rechnung. Weitere Details finden Sie unter "Anstehende Azure Abrechnungsänderungen für OpenSharing SecureConnect".

Weitere Ressourcen

  • Last updated on