CI/CD für Kopierauftrag in Data Factory in Microsoft Fabric

Um erfolgreiche Datenanalyseprojekte mit Copy job auszuführen, sollten Sie Versionsverwaltung, kontinuierliche Integration, kontinuierliche Bereitstellung und eine kollaborative Umgebung verwenden.

In Microsoft Fabric erhalten Sie dafür zwei Haupttools: Git-Integrations- und Bereitstellungspipelinen. Auf diese Weisen können Sie Arbeitsbereichsressourcen verwalten und bei Bedarf aktualisieren.

Mit Git-Integrations- und Bereitstellungspipelinen können Sie Ihre eigenen Git-Repositorys in Azure DevOps oder GitHub verbinden und die integrierten Bereitstellungstools von Fabric verwenden. Dies erleichtert das Einrichten reibungsloser CI/CD-Workflows, sodass Sie Ihre Datenprojekte mit Vertrauen erstellen, testen und bereitstellen können.

Darüber hinaus können Sie mit Unterstützung der Variablenbibliothek Verbindungen im Kopierjob parametrisieren. Mit dieser leistungsstarken Funktion wird CI/CD optimiert, indem Verbindungswerte externisiert werden, sodass Sie denselben Kopierauftrag in mehreren Umgebungen bereitstellen können, während die Variable-Bibliothek die richtige Verbindung für jede Phase einjiziert.

Git-Integration für Kopierauftrag

Führen Sie die folgenden Schritte aus, um Ihren Kopierauftrag in Data Factory mit Git zu verbinden. Dadurch können Sie Änderungen nachverfolgen, mit Ihrem Team zusammenarbeiten und Ihre Arbeit sicher halten:

1. Voraussetzungen
2. Herstellen einer Verbindung mit einem Git-Repository
3. Mit einem Arbeitsbereich verbinden
4. Übernehmen von Änderungen an Git

Voraussetzungen für die Git-Integration

• Sie benötigen eine Power BI Premium-Lizenz oder Fabric-Kapazität.
• Stellen Sie sicher, dass diese Administratoreinstellungen aktiviert sind:
  • Benutzer können Fabric-Elemente erstellen
  • Benutzer können Arbeitsbereichselemente mit ihren Git-Repositorys synchronisieren.
  • (Für GitHub-Benutzer) Benutzer können Arbeitsbereichselemente mit GitHub-Repositorys synchronisieren
• Sie benötigen entweder eine Azure DevOps-Organisation oder ein GitHub-Konto.
  • Für Azure DevOps:
    • Melden Sie sich für ein kostenloses Azure-Konto an, wenn Sie kein Konto haben.
    • Stellen Sie sicher, dass Sie Zugriff auf ein Repository haben.
  • Für GitHub:
    • Registrieren Sie sich für ein kostenloses GitHub-Konto , wenn Sie keins haben.
    • Sie benötigen ein fein abgestimmtes Token mit Lese - und Schreibberechtigungen für Inhalte oder ein klassisches GitHub-Token mit aktivierten Repositorybereichen.

Schritt 1: Herstellen einer Verbindung mit einem Git-Repository

Um die Git-Integration mit dem Kopierauftrag in Fabric zu verwenden, müssen Sie zuerst eine Verbindung mit einem Git-Repository herstellen:

1. Melden Sie sich bei Fabric an, und wechseln Sie zum Arbeitsbereich, den Sie mit Git verbinden möchten.

2. Wählen Sie Arbeitsbereichseinstellungen aus.

   

3. Wählen Sie Git-Integration aus.

4. Wählen Sie Ihren Git-Anbieter aus – entweder Azure DevOps oder GitHub. Wenn Sie GitHub auswählen, wählen Sie "Konto hinzufügen " aus, um Ihr GitHub-Konto zu verbinden. Nachdem Sie sich angemeldet haben, wählen Sie "Verbinden" aus, damit Fabric auf Ihr GitHub-Konto zugreifen kann.

   

Schritt 2: Herstellen einer Verbindung mit einem Arbeitsbereich

Nachdem Sie eine Verbindung mit einem Git-Repository hergestellt haben, müssen Sie eine Verbindung mit Ihrem Arbeitsbereich herstellen.

1. Geben Sie im Dropdown-Menü die Angaben zum Arbeitsbereich und Branch ein, den Sie verwenden möchten.

   • Für Azure DevOps:

     • Name der Organisation
     • Projektname
     • Name des Repositorys
     • Branchname
     • Ordnername

   • Für GitHub:

     • Repository-URL
     • Branchname
     • Ordnername

2. Wählen Sie Verbinden und synchronisieren aus.

3. Wählen Sie nach dem Verbinden die Quellcodeverwaltung aus, um Informationen über den verknüpften Branch, den Status jedes Elements und den Zeitpunkt der letzten Synchronisierung zu erhalten.

   

Schritt 3: Committen von Änderungen an Git

Sie können Ihre Änderungen an Git übernehmen, indem Sie die folgenden Schritte ausführen:

1. Gehen Sie zu Ihrem Arbeitsbereich.
2. Wählen Sie das Symbol für die Quellcodeverwaltung aus. Es wird eine Zahl angezeigt, die darstellt, wie viele Änderungen noch nicht übertragen wurden.
3. Wählen Sie in der Systemsteuerung "Quelle " die Registerkarte "Änderungen " aus. Sie sehen eine Liste aller Elemente, die Sie geändert haben, zusammen mit Statussymbolen.
4. Wählen Sie die Elemente aus, die Sie übernehmen möchten. Wenn Sie alles auswählen möchten, aktivieren Sie das Kontrollkästchen oben.
5. (Optional) Fügen Sie einen Commit-Kommentar zu Ihren Änderungen hinzu.
6. Klicken Sie auf Commit.

Sobald Sie einen Commit ausgeführt haben, werden diese Elemente aus der Liste ausgeblendet, und Ihr Arbeitsbereich verweist auf den neuesten Commit.

Bereitstellungspipelines für Git

Führen Sie die folgenden Schritte aus, um Git-Bereitstellungspipelinen mit Ihrem Fabric-Arbeitsbereich zu verwenden:

1. Voraussetzungen
2. Erstellen einer Bereitstellungspipeline
3. Zuweisen eines Arbeitsbereichs zur Bereitstellungspipeline
4. Bereitstellung in einer leeren Umgebung
5. Bereitstellen von Inhalten aus einer Phase in eine andere

Voraussetzungen für Bereitstellungspipelines

Bevor Sie beginnen, stellen Sie sicher, dass Sie die folgenden Voraussetzungen einrichten:

• Ein aktives Microsoft Fabric-Abonnement.
• Administratorzugriff auf einen Fabric-Arbeitsbereich.

Schritt 1: Erstellen einer Bereitstellungspipeline

1. Wählen Sie im Menü "Arbeitsbereiche " die Option "Bereitstellungspipelinen" aus.
2. Wenn das Fenster "Bereitstellungspipeline erstellen" geöffnet wird, geben Sie einen Namen und eine Beschreibung für Ihre Pipeline ein, und wählen Sie dann "Weiter" aus.
3. Wählen Sie in Ihrer Pipeline aus, wie viele Phasen Sie möchten. Standardmäßig werden drei Phasen angezeigt: Entwicklung, Test und Produktion.

Schritt 3: Zuweisen eines Arbeitsbereichs zur Bereitstellungspipeline

Nachdem Sie eine Pipeline erstellt haben, müssen Sie der Pipeline die zu verwaltenden Inhalte hinzufügen. Das Hinzufügen von Inhalten zur Pipeline erfolgt durch Zuweisen eines Arbeitsbereichs zu einer beliebigen Pipelinephase:

1. Öffnen Sie die Bereitstellungspipeline.

2. Erweitern Sie in der Phase, der Sie einen Arbeitsbereich zuweisen möchten, das Dropdownmenü mit dem Titel Dieser Phase Inhalt hinzufügen.

3. Wählen Sie den Arbeitsbereich aus, den Sie dieser Phase zuweisen möchten.

   

4. Wählen Sie "Zuweisen" aus.

Bereitstellung in einer leeren Phase

Wenn Sie bereit sind, Ihre Inhalte von einer Pipelinephase zur nächsten zu verschieben, können Sie sie mithilfe einer der folgenden Optionen bereitstellen:

• Vollständige Bereitstellung: Wählen Sie diese Option aus, um alles in der aktuellen Phase in der nächsten Phase bereitzustellen.
• Selektive Bereitstellung: Wählen Sie nur die Elemente aus, die Sie bereitstellen möchten.
• Rückwärtsbereitstellung: Verschieben von Inhalten aus einer späteren Phase zurück zu einer früheren Phase. Dies ist nur möglich, wenn die Zielstufe leer ist (kein Arbeitsbereich zugewiesen).

Nachdem Sie Die Bereitstellungsoption ausgewählt haben, können Sie die Details überprüfen und bei Bedarf eine Notiz zur Bereitstellung hinterlassen.

Bereitstellen von Inhalten aus einer Phase in eine andere Phase

1. Sobald Sie Inhalte in einer Pipelinephase haben, können Sie diese in der nächsten Phase bereitstellen, auch wenn der Arbeitsbereich der nächsten Stufe Inhalte enthält. Gekoppelte Elemente werden überschrieben. Weitere Informationen zu diesem Prozess finden Sie im Artikel "Bereitstellen von Inhalten in einem vorhandenen Arbeitsbereich"

2. Sie können auch den Bereitstellungsverlauf überprüfen, um zu sehen, wann Inhalte zuletzt in jede Stufe bereitgestellt wurden. Informationen zur Untersuchung der Unterschiede zwischen den beiden Pipelines vor der Bereitstellung finden Sie unter Vergleichen von Inhalten in verschiedenen Bereitstellungsphasen.

   

Verbindungsparameterisierung mit Variablenbibliothek für Kopierauftrag

Sie können die folgenden Aktionen ausführen, um die Verbindungen im Kopierauftrag mithilfe der Variablenbibliothek zu parametrisieren. Weitere Informationen zur Variablenbibliothek.

Schritt 1: Erstellen einer Variablenbibliothek

1. Wählen Sie +Neues Element in Fabric aus, um eine Variable-Bibliothek zu erstellen.

2. Wenn das Fenster " Neue Variable"-Bibliothek geöffnet wird, geben Sie einen Namen für Die Variable-Bibliothek ein, und wählen Sie dann "Erstellen" aus.

3. Wählen Sie +Neue Variable aus, um neue Variablen für Quell- und Zielverbindungen zu erstellen.

4. Fügen Sie Ihre unterschiedliche Verbindungs-ID als Wertsätze zu Ihren Variablen für verschiedene Umgebungen hinzu, z. B. Entwicklung, Test und Produktion. Sie können die ID für Ihre Verbindung unter "Einstellungen" nachschlagen | Verwalten von Verbindungen und Gateways. Dort finden Sie die ID für Ihre Verbindung, indem Sie auf "Einstellungen " neben Ihrem Verbindungsnamen klicken.

   

Schritt 2: Verwenden der Variablenbibliothek im Kopierauftrag

1. Öffnen Sie Ihren Kopierauftrag.

2. Navigieren Sie zu Ihren Quell- und Zielverbindungen, und verknüpfen Sie sie mit Ihrer erstellten Variablenbibliothek.

   

Schritt 3: Aktivieren unterschiedlicher Verbindungswerte in jedem Arbeitsbereich

Nachdem Sie Ihren Kopierauftrag aus dem Entwicklungsarbeitsbereich zum Testen oder Zur Produktion bereitgestellt haben, können Sie verschiedene Verbindungs-ID aktivieren, indem Sie den für jeden Arbeitsbereich festgelegten Wert auswählen.

1. Wechseln Sie zum Zielarbeitsbereich, und öffnen Sie die Variable-Bibliothek.

2. Aktivieren Sie die entsprechende Verbindungs-ID für diesen Arbeitsbereich in der Variablenbibliothek.

   

Bekannte Einschränkungen

Im Folgenden sind einige der aktuellen Einschränkungen bei der Verwendung von CI/CD für den Kopierauftrag in Data Factory in Microsoft Fabric aufgeführt:

• Arbeitsbereichsvariablen: CI/CD unterstützt derzeit keine Arbeitsbereichsvariablen.
• Eingeschränkte Unterstützung der Git-Integration: Derzeit unterstützt Fabric nur die Git-Integration in Azure DevOps und GitHub. Die Azure DevOps Git-Integration wird empfohlen, da die GitHub-Git-Integration mehr Einschränkungen hat.

Zugehöriger Inhalt

• Einführung in den CI/CD-Prozess als Teil des ALM-Zyklus in Microsoft Fabric
• Erste Schritte mit der Git-Integration, das Fabric-Tool zur Anwendungs-Lebenszyklusverwaltung (Application Lifecycle Management, ALM)
• Erste Schritte mit der Verwendung von Bereitstellungspipelines; das Fabric-Tool zur Anwendungs-Lebenszyklusverwaltung (Application Lifecycle Management, ALM)