Anforderungen für eigenständige Pipelines

Auf dieser Seite werden die Anforderungen zum Erstellen und Aktualisieren eigenständiger materialisierter Ansichten und Streamingtabellen beschrieben.

Sie können eigenständige materialisierte Ansichten und Streamingtabellen mithilfe eines SQL Warehouse erstellen und aktualisieren. Um CREATE- und REFRESH-Anweisungen zu übermitteln, verwenden Sie den SQL-Editor in der BEnutzeroberfläche Azure Databricks UI, die Databricks SQL CLI oder die Databricks SQL API.

Sie können auch eigenständige materialisierte Ansichten und Streamingtabellen aus einem Notizbuch erstellen und aktualisieren, das auf serverlosen allgemeinen Berechnungen (Beta, eingeschränkte regionale Verfügbarkeit) ausgeführt wird. Siehe Notizbücher.

Allgemeine Anforderungen

Die folgenden Anforderungen gelten für alle eigenständigen Pipelines.

Sie benötigen Folgendes:

Berechtigungen zum Erstellen oder Aktualisieren

Der Besitzer (der Benutzer, der die Tabelle erstellt) muss über die folgenden Berechtigungen verfügen:

  • SELECT Berechtigungen für die Basistabellen.
  • USE CATALOG und USE SCHEMA Berechtigungen für den Katalog und das Schema, das die Quelltabellen enthält.
  • USE CATALOG und USE SCHEMA Berechtigungen für den Zielkatalog und das Schema.
  • CREATE MATERIALIZED VIEW Berechtigung für das Schema, das die materialisierte Ansicht enthält.
  • CREATE TABLE Berechtigung für das Schema, das die Streaming-Tabelle enthält. Pipelines, die den Legacy-Veröffentlichungsmodus verwenden, erfordern außerdem die Berechtigung CREATE TABLE für materialisierte Ansichten.

So aktualisieren Sie eine eigenständige materialisierte Ansicht oder Streamingtabelle:

  • Sie müssen im Arbeitsbereich sein, in dem sie erstellt wurde.
  • Sie müssen über die REFRESH-Berechtigung für die Tabelle verfügen. Besitzer haben diese Berechtigung implizit.

Anforderungen an die Quelltabelle

Für die inkrementelle Aktualisierung von materialisierten Ansichten aus Delta-Tabellen müssen die Quelltabellen die Zeilennachverfolgung aktiviert haben.

SQL-Warenhäuser

Zum Erstellen oder Aktualisieren eigenständiger materialisierter Ansichten und Streamingtabellen mit einem SQL Warehouse benötigen Sie ein Unity Catalog-fähiges Pro- oder serverloses SQL Warehouse.

Notebooks

Sie können eigenständige materialisierte Ansichten und Streamingtabellen aus einem Notizbuch mit serverloser allgemeiner Berechnung erstellen und aktualisieren.

Serverlose allgemeine Berechnung

Important

Das Erstellen und Aktualisieren eigenständiger materialisierter Ansichten und Streamingtabellen aus einem Notebook auf serverlosem Allzweck-Compute befindet sich in der Beta-Phase. Dieses Feature ist nur in ausgewählten Regionen verfügbar. Siehe regionale Verfügbarkeit.

Sie können eigenständige materialisierte Ansichten und Streamingtabellen aus einem Notizbuch erstellen und aktualisieren, das mit serverlosen allgemeinen Berechnungen verbunden ist. Diese Option ist nützlich, wenn Sie materialisierte Ansichten oder Streamingtabellen zusammen mit anderen Notizbuch-basierten Workflows definieren und ausführen möchten, ohne ein SQL Warehouse bereitzustellen.

Serverlose allgemeine Computeanforderungen

  • Ein Notebook, das mit serverlosen allgemeinen Rechenressourcen verbunden ist.
  • Databricks Runtime 18.1 oder höher. Interaktive Notizbücher erfüllen diese Anforderung automatisch; Jobs, die an eine ältere Version angeheftet sind, erfüllen diese Anforderung nicht.
  • Ihr Arbeitsbereich muss sich in einer unterstützten Region befinden.

Einschränkungen

  • Nur der Tabellenbesitzer kann die Tabelle aktualisieren. Um einem anderen Benutzer die Aktualisierung zu ermöglichen, ändern Sie den Besitzer. Siehe Ändern des Besitzers einer Streamingtabelle und Ändern des Besitzers einer materialisierten Ansicht.
  • Asynchrone Aktualisierungen werden nicht unterstützt. Verwenden Sie stattdessen eine synchrone Aktualisierung.
  • Der Vorschaukanal wird nicht unterstützt. Tabellen, die auf serverlosen allgemeinen Berechnungen erstellt wurden, verwenden den current Kanal.
  • Eine Tabelle kann nur mit dem Compute-Typ aktualisiert werden, mit dem sie erstellt wurde. Eine Tabelle, die in einem SQL-Warehouse erstellt wurde, muss in einem SQL-Warehouse aktualisiert werden, und eine Tabelle, die in der serverlosen allgemeinen Rechenumgebung erstellt wurde, muss in der serverlosen allgemeinen Rechenumgebung aktualisiert werden. Um den Rechentyp zu überprüfen, sehen Sie sich die Tabelle in Catalog Explorer an.
  • Kostenzuordnung und Kontrolle sind nicht verfügbar. Verwenden Sie ein SQL Warehouse, wenn Sie die Kostenzuordnung pro Tabelle benötigen.
  • Vertikale Automatische Skalierung bei Fehlern außerhalb des Arbeitsspeichers ist nicht verfügbar.
  • Wiederholungsversuche für Schemaupgrades sind nicht verfügbar.
  • Die Auswahl des Leistungsmodus bei der Aktualisierung ist nicht verfügbar. Siehe Auswählen eines Leistungsmodus für geplante Aktualisierungen.

Note

spark.sql wird bei der Ausführung einer Aktualisierung in einem Notebook auf serverloser Allzweckrechenkapazität unterstützt.

:::

Abfrageanforderungen

Um eine eigenständige materialisierte Ansicht oder Streamingtabelle abzufragen, müssen Sie der Eigentümer sein oder über SELECT für die Tabelle sowie über USE CATALOG und USE SCHEMA für deren übergeordnete Objekte verfügen.

Sie müssen eine der folgenden Computeressourcen verwenden:

  • SQL Warehouse
  • Lakeflow Spark Declarative Pipelines-Schnittstellen
  • Berechnen des Standardzugriffsmodus (früher gemeinsam genutzter Zugriffsmodus)
  • Compute mit dediziertem Zugriffsmodus (früher Zugriffsmodus für einen einzelnen Benutzer) in Databricks Runtime 15.4 oder höher, wenn der Workspace für serverloses Compute aktiviert ist. Siehe Feingranulare Zugriffssteuerung auf dedizierten Rechenressourcen. Wenn Sie der Eigentümer sind, können Sie Compute-Ressourcen im dedizierten Zugriffsmodus verwenden, auf denen Databricks Runtime 14.3 oder höher ausgeführt wird.

Für Streamingtabellen in Databricks Runtime 15.3 oder niedriger können Sie dedizierte Rechenressourcen nur dann zum Abfragen einer Streamingtabelle verwenden, wenn Sie deren Besitzer sind. Databricks Runtime 15.4 LTS und höher unterstützen die Abfrage von pipeline-generierten Tabellen auf dedizierten Compute-Ressourcen, auch wenn Sie nicht der Besitzer sind. Möglicherweise werden Ihnen serverlose Rechenressourcen in Rechnung gestellt, wenn Sie dedizierte Rechenleistung für Datenfilteroperationen verwenden. Siehe Feingranulare Zugriffssteuerung auf dedizierten Rechenressourcen.

Regionale Verfügbarkeit

Tabellen, die mit einem Databricks SQL Warehouse erstellt und aktualisiert werden, sind in allen Regionen verfügbar, die serverlose Databricks SQL Warehouses unterstützen.

Das Erstellen und Aktualisieren eigenständiger materialisierter Ansichten und Streamingtabellen auf serverlosen allgemeinen Berechnungen ist nur in ausgewählten Regionen verfügbar.

Eine Liste der unterstützten Regionen für beide Compute-Optionen finden Sie unter Verfügbarkeit von Serverless.

  • Last updated on