Zuordnen von Datenflusstransformationen in dataflow gen2 (Vorschau)

Von Bedeutung

Zuordnungsdatenflusstransformationen in Dataflow Gen2 sind derzeit als öffentliche Vorschau verfügbar und können sich ändern.

Transformationen für Mapping Data Flow (MDF) in Dataflow Gen2 ermöglichen es Ihnen, Spark-basierte Datentransformationen direkt in Data Factory in Microsoft Fabric zu erstellen, auszuführen und zu überwachen.

MDF-Transformationen bringen die Funktionen von Azure Data Factory und den Mapping Data Flows von Azure Synapse Analytics über eine vertraute visuelle Low-Code-Erstellungsumgebung, die in Dataflow Gen2 integriert ist, nach Microsoft Fabric.

Mit MDF-Transformationen können Sie:

  • Migrieren Sie vorhandene Azure Data Factory- und Azure Synapse Analytics-Mapping Data Flows-Pipelines zu Fabric.
  • Erstellen Sie neue sparkbasierte Transformationen direkt in Fabric.
  • Führen Sie MDF-Transformationen mit Fabric-Datenpipelines aus.
  • Überwachen Sie die Transformationsausführung mithilfe integrierter Überwachungsfunktionen.
  • Verwenden Sie weiterhin die vertrauten Transformationsmuster von Mapping Datenfluss in Fabric.

Was sind Zuordnungsdatenflusstransformationen?

MDF-Transformationen erweitern dataflow gen2 mit Spark-basierten Transformationsfunktionen für umfangreiche Datenvorbereitungs- und Transformationsworkloads.

MDF-Transformationen bieten Folgendes:

  • Eine visuelle Low-Code-Erstellungsumgebung
  • Spark-basierte Ausführung
  • Integrierte Orchestrierung über Fabric Pipelines
  • Einblicke in Überwachungs- und Ausführungsvorgänge direkt in Fabric

Verwenden von MDF-Transformationen für:

  • Migrieren Sie vorhandene Azure Data Factory- oder Azure Synapse Analytics-Mapping-Data-Flows-Pipelines zu Fabric.
  • Erstellen Sie neue Spark-basierte Transformationspipelines direkt in Fabric.

MDF-Transformationen sind vollständig in Dataflow Gen2 integriert und bieten eine vertraute Authoring-Erfahrung, ähnlich wie in Azure Data Factory und den Mapping Data Flows von Azure Synapse Analytics.

Screenshot der Authoring-Oberfläche für die Mapping-Datenfluss-Transformation, eingebettet in eine Dataflow-Gen2-Canvas in Microsoft Fabric.

Unterstützte Szenarios

MDF-Transformationen unterstützen derzeit die folgenden Szenarien.

Migrieren vorhandener Zuordnungsdatenflüsse

Sie können vorhandene Mapping Data Flows aus Azure Data Factory und Azure Synapse Analytics mithilfe der integrierten Migrationsfunktion von Azure Data Factory/Synapse Analytics in Fabric migrieren.

Screenshot der Azure Data Factory Migrationserfahrung für das Upgrade von Mapping Data Flows Pipelines auf Fabric.

Während der Migration:

  1. Zuordnungsdatenflüsse werden in Dataflow Gen2 in MDF-Transformationen konvertiert.
  2. Pipelines und Transformationslogik werden zusammen migriert.
  3. MDF-Transformationen werden in der eingebetteten Transformations-Canvas in dataflow gen2 geöffnet.
  4. Vorhandene Transformationslogik kann weiterhin in Fabric erstellt, überprüft, ausgeführt und überwacht werden.

Neue Zuordnungsdatenfluss-Transformationen in Fabric erstellen

Sie können auch neue MDF-Transformationen direkt in dataflow gen2 erstellen. Diese Erfahrung ermöglicht Folgendes:

  • Erstellen Sie Spark-basierte Transformationen mithilfe einer visuellen Schnittstelle.
  • Verwenden Sie die bekannten Transformationsfunktionen von Mapping Datenfluss.
  • Führen Sie Transformationen mit den Datenpipelines von Fabric aus.
  • Überwachen Sie die Ausführung mithilfe integrierter Überwachungsmöglichkeiten.

Voraussetzungen

Bevor Sie MDF-Transformationen in dataflow gen2 verwenden, stellen Sie sicher, dass die folgenden Voraussetzungen erfüllt sind:

  • Eine Fabric-Kapazität.
  • Mitwirkender- oder höhere Berechtigungen für den Fabric-Arbeitsbereich.
  • Vorhandene Fabric Verbindungen für unterstützte Datenquellen.
  • (Optional) Ein vorhandener Azure Data Factory oder Azure Synapse Analytics Arbeitsbereich, wenn Sie Migrationsszenarien verwenden.

Einschränkungen

Die folgenden Funktionen werden derzeit in der öffentlichen Vorschau nicht unterstützt:

Fläche Einschränkung
Flowlets Wird nicht unterstützt.
Datenfluss Bibliothek Wird nicht unterstützt.
Benutzerdefinierte Funktionen (User-Defined Functions, UDFs) Wird nicht unterstützt.
Datenflussausführung MDF-Transformationen können nur durch die Pipelineaktivität „Dataflow“ ausgeführt werden. Die direkte Ausführung von Dataflow gen2 wird derzeit nicht unterstützt. Nur die Speichern-Aktion ist im Menü " Speichern und Ausführen " verfügbar.
Verwaltetes virtuelles Netzwerk Die Unterstützung für verwaltete virtuelle Netzwerke (Managed VNet) ist in dieser Vorschau nicht verfügbar.
Laufzeitausführung Die MDF-Transformationsausführung verwendet derzeit die zugrunde liegende Synapse Spark-Laufzeit, ähnlich wie bei Azure Data Factory und den Zuordnungsdatenflüssen in Azure Synapse Analytics.
Funktionsparität In dieser Vorschau sind nicht alle Funktionen von Mapping Datenfluss verfügbar.

Unterstützte Anschlüsse

MDF-Transformationen unterstützen die am häufigsten verwendeten Quell- und Senkenconnectors, die in Azure Data Factory und Azure Synapse Analytics Mapping Data Flows verfügbar sind.

Die folgenden Connectors werden derzeit unterstützt:

Kategorie Datenspeicher MDF-Transformationen in Dataflow Gen2 (Quelle/Senke)
Azure Azure Blob Storage (Speicherdienst von Azure für unstrukturierte Daten) ✓/✓
Azure Cosmos DB für NoSQL-Datenbanklösungen ✓/✓
Azure-Daten-Explorer ✓/✓
Azure Data Lake Storage Gen1 ✓/✓
Azure Data Lake Storage Gen2 ✓/✓
Azure-Datenbank für MySQL ✓/✓
Azure-Datenbank für PostgreSQL ✓/✓
Azure Databricks Delta Lake ✓/✓ Deltaformat verwenden
Azure SQL-Datenbank ✓/✓
Verwaltete Azure SQL-Instanz ✓/✓
Azure Synapse Analytics ✓/✓
Datenbank Snowflake ✓/✓
File Amazon S3 ✓/✓
SFTP ✓/✓
Generisches REST ✓/✓

Während der Dokumenterstellung:

  • Vorhandene Fabric-Verbindungen können wiederverwendet werden.
  • Neue Verbindungen können direkt aus der Erstellungsumgebung über die Funktion Get Data erstellt werden.
  • Die Quell- und Sinkkonfiguration entspricht den vertrauten Mustern von Mapping Datenflusss.

Unterstützte Transformationen

MDF-Transformationen bieten eine vertraute visuelle Transformation mit wenig Code für die Erstellung skalierbarer Spark-basierter Datentransformationspipelinen in Fabric.

Die folgenden Transformationen werden derzeit unterstützt:

Name Kategorie Description
Aggregat Schemamodifikator Definieren Sie Aggregationen wie SUMME, MIN, MAX und ANZAHL, die nach vorhandenen oder berechneten Spalten gruppiert sind.
Ändern einer Zeile Zeilenmodifizierer Legen Sie Richtlinien für das Einfügen, Löschen, Aktualisieren und Upsert von Zeilen fest.
Assert Zeilenmodifizierer Definieren Sie Assert-Regeln für Zeilen im Datenstrom.
Cast Schemamodifikator Ändern Sie Spaltendatentypen mit der Typüberprüfung.
Bedingtes Teilen Mehrere Eingaben/Ausgaben Leiten Sie Zeilen basierend auf übereinstimmenden Bedingungen an verschiedene Datenströme weiter.
Abgeleitete Spalte Schema-Modifikator Generieren Sie neue Spalten, oder ändern Sie vorhandene Felder mithilfe von Ausdrücken.
Externer Anruf Schema-Modifier Rufen Sie für jede Zeile externe Endpunkte inline auf.
Exists Mehrere Eingaben/Ausgaben Überprüfen Sie, ob Daten in einer anderen Quelle oder einem anderen Datenstrom vorhanden sind.
Filter Zeilenmodifizierer Filtert Zeilen basierend auf Bedingungen.
Vereinfachen Formatierer Wandeln Sie hierarchische Strukturen wie JSON-Arrays in Zeilen um.
Join Mehrere Eingaben/Ausgaben Kombinieren Sie Daten aus zwei Quellen oder Datenströmen.
Nachschlagen Mehrere Eingaben/Ausgaben Verweisen Sie auf Daten aus einer anderen Quelle oder einem anderen Datenstrom.
Neuer Branch Mehrere Eingaben/Ausgaben Wenden Sie mehrere Transformationspfade auf denselben Datenstrom an.
Parse Formatierer Analysieren Sie JSON, durch Trennzeichen getrennte Text- oder XML-formatierte Zeichenfolgen.
Pivotieren Schemamodifikator Transformieren Sie unterschiedliche Zeilenwerte in Spalten.
Rank Schema-Modifier Generieren Sie sortierte Rangfolgen basierend auf Sortierbedingungen.
Select Schemamodifizierer Spalten umbenennen, neu anordnen oder entfernen.
Senke - Definieren Sie das Ziel für transformierte Daten.
Sortieren Zeilenmodifizierer Sortieren sie Zeilen im aktuellen Datenstrom.
Source - Definieren Sie die Quelle für den Datenfluss.
Stringify Formatierer Konvertieren komplexer Typen in Zeichenfolgenwerte.
Ersatzschlüssel Schemamodifizierer Generieren Sie fortlaufende Surrogatschlüsselwerte.
Union Mehrere Eingaben/Ausgaben Kombinieren Sie mehrere Datenströme vertikal.
Entpivotieren Schema-Modifikator Transformieren Sie Spalten in Zeilenwerte.
Fenster Schemamodifizierer Definieren Sie fensterbasierte Aggregationen über Datenströme.

Erstellen einer Zuordnungsdatenflusstransformation in dataflow gen2

So erstellen Sie eine neue MDF-Transformation in Fabric:

  1. Öffnen Sie Ihren Fabric-Arbeitsbereich.

  2. Wählen Sie Neues Element aus.

  3. Wählen Sie "Dataflow Gen2" aus.

  4. Geben Sie einen Namen für das Element "Dataflow gen2" an, und wählen Sie "Erstellen" aus.

  5. Verwenden Sie auf der Arbeitsfläche „Dataflow Gen2“ eine der folgenden Optionen:

    • Wählen Sie in der Registerkarte Start von Dataflow Gen2 in der Aktionsgruppe Neu die Option Zuordnungsdatenfluss-Transformationen ausführen aus.
    • Wählen Sie im Zeichenbereich die Kachel „Zuordnungsdatenfluss-Transformationen ausführen“ (ADF-Zuordnungsdatenflüsse) aus.

    Screenshot mit der Option zum Erstellen einer Transformation eines Zuordnungsdatenflusses über das Menüband von Dataflow Gen2 in Microsoft Fabric.

    Screenshot mit der Option zum Erstellen einer Zuordnungsdatenfluss-Transformation über die Kachel „Dataflow Gen2“ auf der Canvas in Microsoft Fabric.

Eine neue MDF-Transformationsaktion erscheint im Dataflow Gen2-Canvas und öffnet die eingebettete Authoring-Oberfläche für MDF-Transformationen.

Tip

Die Erstellungsumgebung für MDF-Transformationen bietet eine vertraute visuelle Benutzeroberfläche, ähnlich wie in Azure Data Factory und Azure Synapse Analytics Mapping Data Flows.

Datenflusstransformationen für die Erstellung von Zuordnungsdaten

Nachdem Sie eine MDF-Transformation erstellt haben, können Sie mit der Erstellung der Transformationslogik beginnen.

Aktivieren des Debugmodus

Für die interaktive Dokumenterstellung und Datenvorschau:

  1. Aktivieren Sie den Schalter Datenfluss-Debug in der unverankerten Symbolleiste.
  2. Warten Sie, bis die Debugsitzung initialisiert wird.
  3. Nach der Aktivierung können Sie während der Erstellung Quell- und Transformationsdaten in der Vorschau anzeigen.

Screenshot des Canvas für die Transformation des Zuordnungsdatenflusses mit aktiviertem Datenfluss-Debugmodus.

Note

Die Initialisierung von Debugsitzungen kann je nach Verfügbarkeit der Spark-Laufzeit mehrere Minuten dauern.

Quellen hinzufügen

So konfigurieren Sie eine Quelle:

  1. Wählen Sie "Quelle hinzufügen" aus.
  2. Wählen Sie den Verbindungstyp aus.
  3. Wählen Sie eine vorhandene Fabric Verbindung aus, oder erstellen Sie bei Bedarf neue Verbindungen direkt über die Benutzeroberfläche "Daten abrufen".
  4. Durchsuchen Sie die Quelldatei, Tabelle oder den Datensatz und wählen Sie sie aus.

Screenshot der Quellkonfigurationseinstellungen in der Erstellungsumgebung für die Zuordnungsdatenflusstransformation.

Nachdem Sie die Quellverbindung und das Dataset konfiguriert haben, verwenden Sie die Registerkarte "Datenvorschau ", um die Quelldaten während der interaktiven Dokumenterstellung zu überprüfen und in der Vorschau anzuzeigen.

Screenshot der Registerkarte „Datenvorschau“, die Quelldaten beim Erstellen von Transformationen für den Zuordnungsdatenfluss zeigt.

Hinzufügen von Transformationen

So fügen Sie Transformationen hinzu:

  1. Wählen Sie das + Symbol neben einer Quelle oder Transformation aus.
  2. Wählen Sie den Transformationstyp aus.
  3. Konfigurieren Sie Die Transformationseinstellungen.

Sie können die Transformationslogik weiterhin mithilfe des Zeichenbereichs für die visuelle Transformation erstellen.

Screenshot des visuellen Transformationsdiagramms in der Erstellungsumgebung für die Zuordnung von Datenflusstransformationen.

Senke konfigurieren

Nach Abschluss der Transformationslogik:

  1. Fügen Sie eine Senkentransformation hinzu.
  2. Konfigurieren Sie die Zielverbindung.
  3. Konfigurieren Sie Schreibeinstellungen.

Screenshot der Konfiguration der Sinktransformation in der Erstellungsumgebung für die Zuordnung von Datenflusstransformationen.

Überprüfen und Speichern

Vor der Ausführung:

  1. Wählen Sie auf der MDF-Transformations-Symbolleiste Validieren aus.

    Screenshot der Schaltfläche

  2. Beheben von Überprüfungsproblemen, falls vorhanden.

  3. Wählen Sie im Menü "Speichern und Ausführen" die Option "Speichern" aus.

    Screenshot der Option

Note

Derzeit wird für Dataflow Gen2 mit MDF-Transformationen in der öffentlichen Vorschau nur die Aktion Speichern unterstützt.

Ausführen von Zuordnungsdatenflusstransformationen mithilfe von Fabric Pipelines

Sie führen MDF-Transformationen in Fabric-Datenpipelines mithilfe der Aktivität „Dataflow“ aus.

So führen Sie eine MDF-Transformation aus:

  1. Erstellen Sie eine neue Fabric-Pipeline.
  2. Fügen Sie der Pipeline eine Dataflow-Aktivität hinzu.
  3. Wählen Sie in den Aktivitätseinstellungen das Dataflow gen2-Element aus, das die MDF-Transformation enthält.
  4. Wählen Sie die auszuführende MDF-Transformationsabfrage aus.
  5. Konfigurieren Sie die Spark-Laufzeiteinstellungen nach Bedarf.
  6. Überprüfen und veröffentlichen Sie die Pipeline.
  7. Führen Sie die Pipeline manuell aus, oder konfigurieren Sie einen Zeitplan oder Trigger.

Screenshot einer Fabric-Pipeline mit einer Dataflow-Aktivität, die für die Ausführung einer Zuordnungstransformation im Datenfluss konfiguriert ist.

Konfigurieren von Spark-Laufzeiteinstellungen

MDF-Transformationen werden mithilfe der verwalteten Spark-Runtime ausgeführt, die in Data Factory in Microsoft Fabric integriert ist. Sie können Spark-Laufzeiteinstellungen während der Pipelineausführung konfigurieren, einschließlich:

  • Dimensionierung der Computekapazität
  • Sink-Eigenschaften

Screenshot der Spark-Laufzeitkonfigurationseinstellungen für eine Dataflow-Aktivität in einer Fabric Pipeline.

Überwachen von Datenflusstransformationsausführungen für die Zuordnung

Sie können die Ausführung der MDF-Transformation überwachen durch:

  • Der Pipelineausgabebereich

    Screenshot des Pipelineausgabebereichs mit ergebnissen der Zuordnung von Datenflusstransformationen.

  • Der Monitoring Hub

    Screenshot des Monitoring Hub mit den Aktivitätsausführungen für die Ausführung einer Mapping-Datenflusstransformation.

Überwachungsdetails anzeigen:

  1. Öffnen Sie die Details zur Pipelineausführung.
  2. Wählen Sie die Dataflow-Aktivität aus "Aktivitätsausführungen" aus.
  3. Überprüfen Sie den Ausführungsstatus und die Laufzeitdetails.

Screenshot der Überwachungsseite für die Transformation des Zuordnungsdatenflusses mit Ausführungsstatus und Laufzeitdetails.

Verwandte Inhalte

  • Last updated on