Planejamento de migração para Azure Data Factory para Fabric Data Factory

Microsoft Fabric reúne as ferramentas de análise da Microsoft em uma única plataforma SaaS. Ele oferece recursos fortes para orquestração de fluxo de trabalho, movimentação de dados, replicação e transformação em escala. Fabric Data Factory fornece um ambiente SaaS baseado em PaaS Azure Data Factory (ADF) por meio de melhorias de facilidade de uso e funcionalidade extra, tornando Fabric Data Factory a modernização perfeita de suas soluções de integração de dados existentes.

Este guia mostra estratégias de migração, considerações e abordagens para ajudá-lo a mudar de Azure Data Factory para Fabric Data Factory.

Por que migrar?

A migração de pipelines do ADF e do Synapse para o Fabric Data Factory é mais do que uma simples mudança: é uma oportunidade para simplificar a governança, padronizar processos e utilizar os recursos avançados do Fabric Data Factory para melhorar sua estratégia de integração de dados.

Fabric oferece muitos novos recursos, incluindo:

• Atividades de pipeline integradas, como email e Teams para roteamento de mensagens
• CI/CD embutido (pipelines de implantação) sem dependências externas do Git
• Integração perfeita do workspace com o OneLake, Warehouse e Lakehouse para análise unificada
• O modelo de dados semântico simplificado atualiza essa escala para atender às necessidades de dados corporativos e de autoatendimento
• Capacidades de IA integradas com Copilot para ajudá-lo a criar e gerenciar pipelines

Para obter uma comparação detalhada, consulte o guia de comparação Azure Data Factory e Fabric Data Factory.

Diferenças de arquitetura críticas

Antes de migrar de Azure Data Factory para Fabric Data Factory, considere estas diferenças de arquitetura críticas que tendem a ter o maior efeito no planejamento de migração:

Caminhos de migração

Os caminhos de migração dependem dos ativos do ADF e da equivalência de funcionalidades. As opções incluem:

• Itens do Azure Data Factory no Fabric para continuidade. – Uma exibição ao vivo da instância de Azure Data Factory existente no Fabric, permitindo a migração gradual e o teste. Essa também é uma boa primeira etapa antes de usar ferramentas de conversão ou replatformação.
• Use a experiência de atualização interna incorporada para pipelines do Azure Data Factory - Avalie a prontidão dos pipelines diretamente no Azure Data Factory, revise os resultados de compatibilidade e migre os pipelines suportados para um espaço de trabalho do Fabric usando uma interface guiada.
• Migração Manual para Ambientes Complexos - Reconstruir pipelines em Fabric para aproveitar novos recursos e otimizar o desempenho. Isso é necessário para pipelines com baixa paridade ou lógica personalizada, mas também é uma oportunidade de modernizar sua arquitetura.

Azure Data Factory itens em seu espaço de trabalho Fabric

Adicionar um ADF existente ao seu workspace do Fabric oferece visibilidade e governança imediatas enquanto você migra de forma incremental. É ideal para descoberta, atribuição de propriedade e teste lado a lado porque as equipes podem ver pipelines, organizá-los em Fabric workspaces e planejar substituições por domínio. Use Azure Data Factory itens para catalogar o que existe, priorizar os pipelines de maior valor/menor risco primeiro e estabelecer convenções (nomenclatura, pastas, reutilização de conexão) que seus scripts de conversão e ferramentas de parceiro podem seguir consistentemente.

A montagem no Fabric é realizada por meio do tipo de item Azure Data Factory: Leve seu Azure Data Factory para o Fabric.

Atualize os pipelines do Azure Data Factory usando a experiência de migração embutida

Fabric fornece uma experiência de atualização interna e prioritária para avaliação que permite avaliar e migrar pipelines do Azure Data Factory diretamente por meio das experiências do usuário do Azure Data Factory e do Fabric, sem necessidade de scripts ou ferramentas personalizadas. Essa experiência ajuda você a:

• Avalie a preparação do pipeline e da atividade diretamente no Azure Data Factory.
• Entenda as lacunas de compatibilidade antes da migração.
• Monte seu Azure Data Factory em um espaço de trabalho do Fabric para comparação lado a lado.
• Migre pipelines com suporte incrementalmente para Fabric do data factory montado.
• Planeje a correção ou a reformulação para itens que exigem atualizações ou que serão atualizados em breve.

Cada pipeline e atividade é claramente categorizado (Pronto, Precisa de Revisão, Em Breve ou Não Compatível), ajudando as equipes a planejar migrações de forma intencional e validar os resultados antes de alternar as cargas de trabalho de produção. Essa abordagem é adequada para clientes que desejam um caminho de migração guiado, de baixo risco e incremental, mantendo a visibilidade dos recursos sem suporte e das próximas etapas. Para obter diretrizes passo a passo, consulte Atualize os pipelines do Azure Data Factory para o Fabric

Migração manual

A migração manual é necessária para pipelines complexos com baixa paridade, mas também é uma chance de modernizar sua arquitetura e adotar os recursos integrados do Fabric. Esse caminho requer um planejamento e desenvolvimento mais antecipados, mas pode gerar benefícios de longo prazo em manutenção, desempenho e custo.

Para migrar efetivamente, siga estas etapas:

1. Avaliar e inventariar: cataloge todos os ativos do ADF, incluindo pipelines, conjuntos de dados, serviços vinculados e runtimes de integração. Identificar dependências e padrões de uso.
2. Identificar itens duplicados e não utilizados: limpe itens não utilizados ou redundantes no ADF para simplificar a migração e seu ambiente de integração de dados.
3. Identificar lacunas: use a ferramenta de avaliação de migração e examine a paridade dos conectores e a paridade de atividades para identificar lacunas entre seus pipelines do ADF e os pipelines do Fabric, e planejar alternativas.
4. Revise novos recursos: use nosso guia de decisão de movimento de dados e guia de decisão de integração de dados para decidir quais ferramentas de Fabric funcionarão melhor para suas necessidades.
5. Plan: Rever as práticas recomendadas de migração para considerações sobre cada um de seus itens e diretrizes para aproveitar ao máximo as funcionalidades aprimoradas do Fabric.
6. Se você usar parâmetros globais no ADF, planeje migrá-los para bibliotecas de variáveis do Fabric. Consulte Converter Parâmetros Globais do ADF em Bibliotecas de Variáveis do Fabric para obter etapas detalhadas.
7. Transição do ADF: considere adicionar um item do Azure Data Factory no Microsoft Fabric como uma primeira etapa na migração, permitindo uma transição gradual em uma única plataforma.
8. Priorizar: classifique seus pipelines com base no impacto nos negócios, na complexidade e na facilidade de migração.
9. Automatize sempre que possível: use a experiência de atualização integrada para avaliar, migrar e validar pipelines de forma incremental antes de mover cargas de produção. Para obter mais informações, consulte a ferramenta De atualização.
10. Considere ferramentas: use estas ferramentas para facilitar a recreação:
    • Use modelos Fabric como ponto de partida para pipelines com cenários comuns de integração de dados.
    • Usar a parametrização para criar pipelines reutilizáveis
    • Use Copilot no Fabric Data Factory para ajudar na criação de pipelines
    • Usar pipelines de implantação para CI/CD e controle de versão
11. Migração manual: para cenários não compatíveis com outros métodos de migração, reconstrua-os no Fabric.
    1. Recriar conexões: Configurar Conexões no Fabric para substituir os Serviços Linkados no ADF.
    2. Recrear atividades: configurar suas atividades em seus pipelines, substituindo as atividades não suportadas por alternativas Fabric ou usando a atividade de pipeline Invoke
    3. Agendar e definir gatilhos: Reconstruir cronogramas e gatilhos de eventos no Fabric para corresponder aos agendamentos do ADF
12. Teste minuciosamente: valide os pipelines migrados em relação às saídas esperadas, aos parâmetros de comparação de desempenho e aos requisitos de conformidade.

Cenários de migração de exemplo

Mudar do ADF para Fabric pode envolver estratégias diferentes dependendo do seu caso de uso. Esta seção descreve caminhos e considerações comuns de migração para ajudá-lo a planejar com eficiência.

• Cenário 1: pipelines e fluxos de dados do ADF
• Cenário 2: ADF com CDC, SSIS e Fluxo de Ar
• Cenário 3: Atualização de pipeline usando a experiência integrada
• Scenario 4: os itens do ADF em um workspace Fabric

Cenário 1: pipelines e fluxos de dados do ADF

Modernize seu ambiente ETL movendo pipelines e fluxos de dados para Fabric. Planeje estes elementos:

• Recriar serviços vinculados como conexões
• Recriar parâmetros globais como bibliotecas de variáveis
• Definir propriedades do conjunto de dados em linha nas atividades de pipeline
• Substituir SHIRs (runtimes de integração auto-hospedada) por OPDGs (gateways de dados locais) e IRs de VNet por gateways de dados Rede Virtual
• Reconstruir as atividades do ADF não suportadas usando alternativas do Fabric ou a atividade de pipeline de invocação. Atividades sem suporte incluem:
  • Data Lake Analytics (U-SQL), um serviço de Azure preterido
  • Atividade de validação, que pode ser recriada usando as atividades Get Metadata, loops de pipeline e If activities
  • Power Query, que é totalmente integrado ao Fabric como fluxos de dados em que o código M pode ser reutilizado
  • Atividades de notebook, jar e Python podem ser substituídas pela atividade do Databricks no Fabric
  • Atividades de Hive, Pig, MapReduce, Spark e Streaming podem ser substituídas pela atividade HDInsight no Fabric

Por exemplo, aqui está a página de configuração do conjunto de dados do ADF, com seu caminho de arquivo e configurações de compactação:

E aqui está uma atividade de cópia do Data Factory no Fabric, em que a compactação e o caminho do arquivo estão integrados na atividade.

Captura de tela da configuração de compactação da atividade "Fabric Copy".

Cenário 2: ADF com CDC, SSIS e Fluxo de Ar

Recrie o CDC como itens de Tarefa de Cópia. Para o Airflow, copie seus DAGs para a oferta de Apache Airflow da Fabric. Execute pacotes SSIS usando pipelines do ADF e invoque-os a partir do Fabric.

Cenário 3: Atualização de pipeline usando a experiência de migração integrada

Essa experiência guiada e de avaliação em primeiro lugar permite avaliar a preparação, identificar lacunas de compatibilidade e migrar pipelines suportados de forma incremental para um workspace do Fabric, tudo sem scripts. Para obter mais informações, consulte Atualize seus pipelines do Azure Data Factory para o Fabric.

Cenário 4: Itens do ADF em um workspace do Fabric

Você pode adicionar uma fábrica inteira do ADF em um espaço de trabalho do Fabric como um item nativo. Isso permite que você gerencie fábricas do ADF com artefatos do Fabric na mesma interface. A interface do usuário do ADF permanece totalmente acessível, permitindo que você monitore, gerencie e edite seus itens de fábrica do ADF diretamente do workspace Fabric. No entanto, a execução de pipelines, atividades e runtimes de integração ainda ocorre nos seus recursos da Azure.

Esse recurso é útil para as organizações que fazem a transição para Fabric, pois fornece uma exibição unificada dos recursos do ADF e do Fabric, simplificando o gerenciamento e o planejamento da migração.

Para obter mais informações, consulte Traga seu Azure Data Factory para o Fabric.

Conteúdo relacionado

• Práticas recomendadas de migração
• Comparação de Connector entre o ADF e o Fabric Data Factory