Dela via

Migreringsplanering för Azure Data Factory till Fabric Data Factory

Microsoft Fabric sammanför Microsoft analysverktyg till en enda SaaS-plattform. Den erbjuder starka funktioner för arbetsflödesorkestrering, dataförflyttning, replikering och transformering i stor skala. Fabric Data Factory tillhandahåller en SaaS-miljö som bygger på Azure Data Factory (ADF) PaaS genom användarvänliga förbättringar och extra funktioner, vilket gör Fabric Data Factory till den perfekta moderniseringen av dina befintliga dataintegreringslösningar.

Den här guiden visar migreringsstrategier, överväganden och metoder som hjälper dig att gå från Azure Data Factory till Fabric Data Factory.

Varför ska man migrera?

Att migrera från ADF- och Synapse-pipelines till Fabric Data Factory är mer än en lift-and-shift: det är en möjlighet att förenkla styrning, standardisera mönster och använda Fabric Data Factorys avancerade funktioner för att förbättra din dataintegreringsstrategi.

Fabric erbjuder många nya funktioner, bland annat:

En detaljerad jämförelse finns i jämförelseguiden Azure Data Factory och Fabric Data Factory.

Kritiska arkitekturskillnader

Innan du migrerar från Azure Data Factory till Fabric Data Factory bör du överväga dessa kritiska arkitekturskillnader som tenderar att ha störst effekt på migreringsplaneringen:

Kategori Azure Data Factory Fabric Data Factory Migreringspåverkan
Anpassad kod Anpassad aktivitet Aktiviteten Azure Batch Aktivitetsnamnet är annorlunda, men har stöd för samma funktioner.
Dataflows Mappa dataflöden (Spark-baserade) Dataflow Gen2 (Power Query motor) med fast kopiering och flera mål Olika transformeringsmotorer och funktioner. Se vår guide till dataflöden för mappningsanvändare av Data Flow för mer information.
Datauppsättningar Separata, återanvändbara datauppsättningsobjekt Egenskaper definieras direkt i aktiviteter När du konverterar från ADF till Fabric finns datamängdsinformation inom varje aktivitet.
Dynamiska anslutningar Länkade tjänstegenskaper kan vara dynamiska med hjälp av parametrar Anslutningsegenskaper stöder inte dynamiska egenskaper, men pipelineaktiviteter kan använda dynamiskt innehåll för anslutningsobjekt För metadatadrivna arkitekturbaserade lösningar som förlitar sig på parametriserade anslutningar parametriserar du anslutningsobjektet i Fabric.
globala parametrar Globala parametrar Fabric variabelbibliotek Olika implementeringsmönster och datatyper, även om vi har en migreringsguide.
HDInsight-aktiviteter Fem separata aktiviteter (Hive, Pig, MapReduce, Spark, Streaming) Enskild HDInsight-aktivitet Du behöver bara en aktivitetstyp när du konverterar, men alla funktioner stöds.
Identitet Hanterad identitet Fabric Arbetsyteidentitet Olika identitetsmodeller, med viss planering som krävs för att skifta.
Key Vault Mogen integrering med alla autentiseringstyper Begränsad integrering via Fabric Key Vault Referens Jämför för närvarande stödda Key Vault-källorna och autentisering med dina befintliga konfigurationer.
Pipelinekörning Utföra pipelineaktivitet Anropa Pipeline-aktivitet med anslutningstypen FabricDataPipeline Aktivitetsnamn och anslutningskrav ändras vid konvertering.
Scheduling En utlösare för många pipelines eller många utlösare per pipeline med centraliserad hantering Ett schema per pipeline eller många scheman per pipeline utan återanvändning av schema eller central knutpunkt Fabric kräver för närvarande schemahantering per pipeline.

Migreringssökvägar

Migreringsvägar beror på dina ADF-tillgångar och deras funktionsparitet. Alternativen inkluderar:

Azure Data Factory objekt i din Fabric arbetsyta

Tillför en befintlig ADF till din Fabric arbetsyta ger dig omedelbar synlighet och styrning medan du migrerar stegvis. Det är idealiskt för identifiering, ägarskapstilldelning och parallell testning eftersom team kan se pipelines, organisera dem under Fabric-arbetsytor och planera övergångar per domän. Använd Azure Data Factory objekt för att katalogisera vad som finns, prioritera pipelines med högst värde/lägsta risk först och upprätta konventioner (namngivning, mappar, återanvändning av anslutningar) som dina konverteringsskript och partnerverktyg kan följa konsekvent.

Montering i Fabric sker via Azure Data Factory objekttyp: Bringa din Azure Data Factory till Fabric.

Uppgradera Azure Data Factory pipelines med den inbyggda migreringsmiljön

Fabric ger en inbyggd utvärderingsupplevelse där du kan utvärdera och migrera Azure Data Factory pipelines direkt via Azure Data Factory och Fabric användarupplevelser – utan skript eller anpassade verktyg. Den här upplevelsen hjälper dig att:

  • Utvärdera pipeline- och aktivitetsberedskap direkt i Azure Data Factory.
  • Förstå kompatibilitetsluckor före migrering.
  • Länka Azure Data Factory till en Fabric-arbetsyta för att granska sida vid sida.
  • Migrera pipelines som stöds stegvis till Fabric från din monterade datafabrik.
  • Planera reparation eller omdesign för objekt som kräver uppdateringar eller som kommer snart.

Varje pipeline och aktivitet är tydligt kategoriserad (Klar, Behöver granskning, Kommer snart eller Inte kompatibel), vilket hjälper team att planera migreringar avsiktligt och validera resultat innan de byter produktionsarbetsbelastningar. Den här metoden passar bra för kunder som vill ha en guidad, lågrisk- och inkrementell migreringsväg, samtidigt som du behåller insyn i funktioner som inte stöds och nästa steg. Stegvisa anvisningar finns i Uppgradera dina Azure Data Factory pipelines till Fabric

Manuell migrering

Manuell migrering är nödvändig för komplexa pipelines med låg paritet, men det är också en chans att modernisera din arkitektur och anta Fabric integrerade funktioner. Den här sökvägen kräver mer planering och utveckling i förväg, men kan ge långsiktiga fördelar när det gäller underhåll, prestanda och kostnader.

Följ dessa steg för att migrera effektivt:

  1. Utvärdera och inventera: Katalogisera alla ADF-tillgångar, inklusive pipelines, datauppsättningar, länkade tjänster och integreringskörningar. Identifiera beroenden och användningsmönster.
  2. Identifiera dubbletter och oanvända objekt: Rensa oanvända eller redundanta objekt i ADF för att effektivisera migreringen och din dataintegreringsmiljö.
  3. Identifiera luckor: Använd migrationsutvärderingsverktyget och granska connector paritet och aktivitetsparitet för att identifiera luckor mellan dina ADF-pipelines och Fabric-pipelines och planera för alternativ.
  4. Granska nya funktioner: Använd våra beslutsguide för dataflytt och beslutsguide för dataintegration för att avgöra vilka Fabric-verktyg som fungerar bäst för dina behov.
  5. Plan: Granska bästa praxis för migration och vad du bör beakta för varje av dina objekt, samt riktlinjer för att dra full nytta av Fabrics förbättrade kapacitet.
  6. Om du använder globala parametrar i ADF planerar du att migrera dem till Fabric variabelbibliotek. Mer information finns i Konvertera globala ADF-parametrar till Fabric variabelbibliotek.
  7. ADF-övergång: Överväg att lägga till ett Azure Data Factory-element i Microsoft Fabric som ett första steg i migreringen, vilket möjliggör en gradvis övergång på en enda plattform.
  8. Prioritera: Rangordna dina pipelines baserat på affärspåverkan, komplexitet och enkel migrering.
  9. Automatisera var du kan: Använd den inbyggda uppgraderingsmiljön för att utvärdera, migrera och validera pipelines stegvis innan du flyttar produktionsarbetsbelastningar. Mer information finns i uppgraderingsverktyget.
  10. Överväg verktyg: Använd dessa verktyg för att göra rekreation enklare:
  11. Manual migration: Återskapa dem i Fabric för scenarier som inte stöds av andra migreringsmetoder:
    1. Skapa anslutningar: Konfigurera Anslutningar i Fabric för att ersätta länkade tjänster i ADF
    2. Återskapa aktiviteter: Konfigurera dina aktiviteter i dina pipelines, ersätt stöds inte aktiviteter med Fabric-alternativ eller använd aktiviteten Invoke pipeline
    3. Planera och ange utlösare: Återskapa scheman och händelseutlösare i Fabric så att de matchar dina ADF-scheman
  12. Testa noggrant: Verifiera migrerade pipelines mot förväntade utdata, prestandamått och efterlevnadskrav.

Exempel på migreringsscenarier

Att flytta från ADF till Fabric kan omfatta olika strategier beroende på ditt användningsfall. I det här avsnittet beskrivs vanliga migreringsvägar och överväganden som hjälper dig att planera effektivt.

Scenario 1: ADF-pipelines och dataflöden

Modernisera ETL-miljön genom att flytta pipelines och dataflöden till Fabric. Planera för följande element:

  • Återskapa länkade tjänster som anslutningar
  • Återskapa globala parametrar som variabelbibliotek
  • Definiera datamängdsegenskaper direkt i pipelineaktiviteter
  • Ersätt SHIR (lokalt installerade integrationskörningar) med OPDG:er (lokala datagatewayer) och VNet IR:er (virtuella nätverksdatagatewayer) med virtuella nätverksdatagatewayer.
  • Återskapa icke-stödda ADF-aktiviteter med Fabric-alternativ eller aktiviteten Anropa pipeline. Aktiviteter som inte stöds är:
    • Data Lake Analytics (U-SQL), en inaktuell Azure tjänst
    • Valideringsaktivitet, som kan återskapas med hjälp av Hämta metadata, pipeline-loopar och If-aktiviteter
    • Power Query, som är helt integrerat i Fabric som dataflöden där M-kod kan återanvändas
    • Notebook-, Jar- och Python-aktiviteter kan ersättas med Databricks-aktiviteten i Fabric
    • Aktiviteterna Hive, Pig, MapReduce, Spark och Streaming kan ersättas med HDInsight-aktiviteten i Fabric

Här är till exempel konfigurationssidan för ADF-datauppsättningen med dess filsökväg och komprimeringsinställningar:

Skärmbild av konfigurationssidan för ADF-datauppsättningen.

Och här är en kopieringsaktivitet för Data Factory i Fabric-plattformen, där komprimering och filsökväg är infogade i aktiviteten.

Skärmbild av Fabric Copy activity komprimeringskonfiguration.

Scenario 2: ADF med CDC, SSIS och Airflow

Återskapa CDC som Kopiera jobbobjekt . För Airflow kopierar du dina DAG:er till Fabric Apache Airflow-erbjudande. Kör SSIS-paket med hjälp av ADF-pipelines och anropa dem från Fabric.

Scenario 3: Pipelineuppgradering med den inbyggda migreringsupplevelsen

Med den här guidade utvärderingen kan du utvärdera beredskap, identifiera kompatibilitetsluckor och migrera pipelines som stöds stegvis till en Fabric arbetsyta – allt utan skript. Mer information finns i Uppgradera dina Azure Data Factory pipelines till Fabric.

Scenario 4: ADF-objekt i en Fabric arbetsyta

Du kan lägga till en hel ADF-fabrik i en Fabric arbetsyta som ett internt objekt. På så sätt kan du hantera ADF-fabriker tillsammans med Fabric artefakter i samma gränssnitt. ADF-användargränssnittet är fortfarande fullt tillgängligt, så att du kan övervaka, hantera och redigera dina ADF-fabriksobjekt direkt från Fabric arbetsytan. Körning av pipelines, aktiviteter och integreringskörningar sker dock fortfarande inom dina Azure resurser.

Den här funktionen är användbar för organisationer som övergår till Fabric eftersom den ger en enhetlig vy över både ADF- och Fabric resurser, vilket förenklar hanteringen och planeringen för migrering.

Mer information finns i Bringa din Azure Data Factory till Fabric.

Relaterat innehåll

  • Last updated on