Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Auf dieser Seite wird beschrieben, wie Sie OpenSharing für Azure Databricks für Datenanbieter einrichten (Organisationen, die OpenSharing verwenden möchten, um Daten sicher freizugeben).
Wenn Sie ein Datenempfänger sind (eine Organisation, die Daten empfängt, die über OpenSharing freigegeben werden), siehe Mit Databricks-to-Databricks OpenSharing freigegebene Daten lesen (für Empfänger).
Wichtig
OpenSharing erfordert einen Unity-Katalog-aktivierten Arbeitsbereich. Sie können einen Unity Catalog-fähigen Arbeitsbereich für die Freigabeverwaltung erstellen. In einigen Konten werden neue Arbeitsbereiche automatisch für Unity Catalog aktiviert. Weitere Informationen finden Sie unter "Erste Schritte mit Unity-Katalog".
Wenn das Erstellen eines neuen Unity-Katalog-aktivierten Arbeitsbereichs keine Option ist, können Sie das Open-Source-OpenSharing-Projekt verwenden, um Ihren eigenen OpenSharing-Server bereitzustellen, um Delta-Tabellen von einer beliebigen Plattform freizugeben.
Die Ersteinrichtung für Anbieter umfasst die folgenden Schritte:
- Aktivieren Sie OpenSharing für einen Unity-Katalog-Metastore.
- (Optional) Installieren Sie die Unity Catalog-CLI.
- Gewähren Sie Berechtigungen zum Erstellen und Verwalten von Freigaben und Empfangenden.
- Konfigurieren Sie die Lebensdauer (TTL) der Datenmaterialisierung.
- Konfigurieren des Speichernetzwerkzugriffs.
Requirements
Als Datenanbieter, der Ihr Azure Databricks-Konto einrichtet, um Daten freigeben zu können, müssen Sie über Folgendes verfügen:
Mindestens ein Azure Databricks-Arbeitsbereich, der für Unity Catalog aktiviert ist.
Sie müssen nicht alle Arbeitsbereiche zum Unity-Katalog migrieren, um die Databricks-Unterstützung für OpenSharing-Anbieter zu nutzen. Siehe Benötige ich Unity Catalog, um OpenSharing zu verwenden?.
Empfänger benötigen keinen Unity Catalog-aktivierten Arbeitsbereich.
Kontoadministratorrolle zum Aktivieren von OpenSharing für Ihren Unity-Katalog-Metastore.
Metastore-Administratorrolle oder die
CREATE SHARE- undCREATE RECIPIENT- Berechtigungen. Siehe Metastore-Administratoren.Note
Wenn Ihr Arbeitsbereich automatisch für Unity Catalog aktiviert wurde, verfügen Sie möglicherweise nicht über einen Metastore-Administrator. Arbeitsbereichsadministratoren in solchen Arbeitsbereichen verfügen jedoch standardmäßig über die
CREATE SHARE- undCREATE RECIPIENT-Berechtigungen für den Metastore.Weitere Informationen finden Sie unter "Erste Schritte mit Unity-Katalog - und Arbeitsbereich-Administratorrechten", wenn Arbeitsbereiche automatisch für Unity-Katalog aktiviert sind.
Eine Cloudspeicherkonfiguration, die den Netzwerkzugriff vom Empfänger ermöglicht.
Aktivieren von OpenSharing in einem Metastore
Sie müssen OpenSharing nicht in Ihrem Metastore aktivieren, wenn Sie OpenSharing nur verwenden möchten, um Daten mit Benutzern in anderen Unity Catalog-Metastores in Ihrem Konto freizugeben. Die Metastore-zu-Metastore-Freigabe innerhalb eines einzelnen Azure-Databricks-Kontos ist standardmäßig aktiviert.
Führen Sie andernfalls die folgenden Schritte für jeden Unity Catalog-Metaspeicher aus, der Daten verwaltet, die Sie mit OpenSharing freigeben möchten.
Melden Sie sich bei der Kontokonsole als Azure Databricks-Kontoadministrator an.
Klicken Sie in der Randleiste auf das
Katalog.
Klicken Sie auf den Namen eines Metastores, um die zugehörigen Details zu öffnen.
Klicken Sie auf das Kontrollkästchen neben OpenSharing mit Parteien außerhalb Ihrer Organisation zulassen.
Konfigurieren Sie die Lebensdauer des Empfängertokens.
Diese Konfiguration legt die Zeitspanne fest, nach der alle Empfängertokens ablaufen und neu generiert werden müssen. Empfängertoken werden nur im Databricks-to-Open-Freigabeprotokoll verwendet. Token sind maximal ein Jahr nach der Erstellung gültig.
Note
Wenn Sie die Standardgültigkeitsdauer eines Empfängertokens für einen Metastore ändern, wird die Gültigkeitsdauer des Empfängertokens für bereits vorhandene Empfänger nicht automatisch aktualisiert. Um eine neue Tokengültigkeitsdauer auf einen bestimmten Empfänger anzuwenden, müssen Sie dessen Token rotieren. Siehe Verwalten von Empfängertoken.
Führen Sie die folgenden Schritte aus, um die Standardgültigkeitsdauer eines Empfängertokens festzulegen:
- Vergewissern Sie sich, dass Ablaufdatum festlegen aktiviert ist (dies ist die Standardeinstellung).
- Geben Sie die Anzahl der Sekunden, Minuten, Stunden oder Tage ein, und wählen Sie eine Maßeinheit aus. Token sind maximal ein Jahr nach der Erstellung gültig.
- Klicken Sie auf Aktivieren.
Weitere Informationen finden Sie unter Sicherheitsüberlegungen für Token.
Geben Sie beim Teilen mit einem Azure Databricks-Empfänger, der sich nicht in Ihrem Konto befindet, einen Organisationsnamen ein.
Note
Das Angeben eines lesbaren Organisationsnamens hilft Empfängern, ihre Freigabeanbieter und die entsprechenden Anbieterobjekte in der Anbieterliste des Empfängers zu identifizieren.
Klicken Sie auf Aktivieren.
(Optional) Installieren der Unity Catalog-CLI
Zum Verwalten von Freigaben und Empfängern können Sie den Catalog Explorer, SQL-Befehle oder die Unity Catalog CLI verwenden. Die CLI wird in Ihrer lokalen Umgebung ausgeführt und erfordert keine Azure Databricks-Computeressourcen.
Informationen zum Installieren der CLI finden Sie unter Databricks CLI.
Erteilen der Berechtigung zum Erstellen und Verwalten von Freigaben und Empfängern
Metastore-Admins haben das Recht, Freigaben und Empfangende zu erstellen und zu verwalten, einschließlich der Gewährung von Freigaben an Empfangende. Viele Anbieteraufgaben können von einem Metastore-Administrator mit den folgenden Berechtigungen delegiert werden:
-
CREATE SHAREim Metastore gewährt das Recht, Freigaben zu erstellen. -
CREATE RECIPIENTim Metastore gewährt die Möglichkeit, Empfänger zu erstellen. -
USE RECIPIENTim Metastore gewährt das Recht zum Auflisten und Anzeigen von Details für alle Empfangenden im Metastore. -
USE SHAREim Metastore gewährt das Recht zum Auflisten und Anzeigen von Details für alle Freigaben im Metastore. -
USE RECIPIENT,USE SHARE,undSET SHARE PERMISSIONgeben zusammen einem Benutzer das Recht, Empfängern Freigabezugriff zu gewähren. - Der Metastore-Administrator hat die Möglichkeit, das Eigentum an einer beliebigen Freigabe zu übertragen.
- Freigabe- und Empfängerbesitzende können diese Objekte aktualisieren und Empfangenden Freigaben gewähren. Objekterstellern wird standardmäßig der Besitz gewährt, aber der Besitz kann übertragen werden.
- Freigabebesitzende können Tabellen zu Freigaben hinzufügen, solange sie
SELECT-Zugriff auf die Tabellen undREAD VOLUME-Zugriff auf die Volumes haben.
Ausführliche Informationen finden Sie unter Unity Catalog-Berechtigungsreferenz und die Berechtigungen, die für die beschriebenen OpenSharing-Aufgaben aufgeführt sind.
TTL der Datenmaterialisierung konfigurieren
Als Azure Databricks Konto- oder Metastore-Administrator können Sie die TTL der Datenmaterialisierung konfigurieren, die bestimmt, wie lange ein materialisiertes Ergebnis zwischengespeichert wird. Materialisierungen treten auf, wenn ein Empfänger freigegebene dynamische Ansichten, materialisierte Ansichten, Streamingtabellen und Fremdtabellen abfragt. Standardmäßig beträgt die TTL acht Stunden. Der Cache selbst wird nach zusätzlichen drei Stunden durch Materialisierung gelöscht, wodurch zusätzliche Zeit für vorhandene Abfragen zum Abschluss bereitgestellt wird.
Gehen Sie wie folgt vor, um diesen Wert zu ändern:
Klicken Sie im Azure Databricks-Arbeitsbereich auf das
Katalog zum Öffnen des Katalog-Explorers.
Klicken Sie oben im Bereich Katalog auf das
und wählen Sie OpenSharing aus.
Alternativ klicken Sie oben rechts auf Teilen > OpenSharing.
Klicken Sie auf der Registerkarte " Für mich freigegeben " in der oberen rechten Ecke auf Ihren Organisationsnamen.
Klicken Sie auf das
oben rechts. Zahnradsymbol.
Geben Sie für materialization TTL Ihren gewünschten TTL-Wert ein.
Netzwerkzugriff auf Speicher zulassen
Wenn Ihr zugrunde liegender Cloudspeicher mit Zugriffssteuerungen konfiguriert ist, fügen Sie das Netzwerk Des Empfängers zur Zulassungsliste hinzu, damit sie freigegebene Tabellen lesen können.
Tip
Anstatt Netzwerk- und Firewallregeln für jeden Empfänger manuell zu konfigurieren, verwenden Sie SecureConnect , um den Zugriff über einen verwalteten Proxy zu brokern.
Ausführliche Informationen finden Sie unter Konfigurieren von Azure Storage Firewalls und virtuellen Netzwerken und Konfigurieren eines Azure Netzwerksicherheitsperimeters für Azure Ressourcen.