Microsoft Fabric Microsoft 분석 도구를 단일 SaaS 플랫폼으로 통합합니다. 워크플로 오케스트레이션, 데이터 이동, 복제 및 대규모 변환을 위한 강력한 기능을 제공합니다. Fabric Data Factory는 사용 편의성 향상 및 추가 기능을 통해 ADF(Azure Data Factory) PaaS를 기반으로 하는 SaaS 환경을 제공하여 Fabric Data Factory를 기존 데이터 통합 솔루션의 완벽한 현대화로 만듭니다.
이 가이드는 Azure Data Factory에서 Fabric Data Factory로 이동하는 데 도움이 되는 마이그레이션 전략, 고려 사항 및 방법을 보여줍니다.
마이그레이션해야 하는 이유는 무엇인가요?
ADF 및 Synapse 파이프라인에서 Fabric Data Factory로 마이그레이션하는 것은 리프트 앤 시프트 이상입니다. 거버넌스를 단순화하고, 패턴을 표준화하고, Fabric Data Factory의 고급 기능을 사용하여 데이터 통합 전략을 개선할 수 있는 기회입니다.
Fabric 다음을 비롯한 다양한 새로운 기능을 제공합니다.
- 메시지 라우팅을 위한 전자 메일 및 Teams 와 같은 통합 파이프라인 활동
- 외부 Git 종속성이 없는 기본 제공 CI/CD(배포 파이프라인)
- 통합 분석을 위해 OneLake, Warehouse 및 Lakehouse 와 원활한 작업 영역 통합
- 셀프 서비스 및 엔터프라이즈 데이터 요구 사항을 모두 충족하도록 크기를 조정하는 간소화된 의미 체계 데이터 모델 새로 고침
- 파이프라인을 만들고 관리하는 데 도움이 되는 Copilot 기본 제공 AI 기능
자세한 비교는 Azure Data Factory 및 Fabric Data Factory 비교 가이드 참조하세요.
중요한 아키텍처 차이점
Azure Data Factory Fabric Data Factory로 마이그레이션하기 전에 마이그레이션 계획에 가장 큰 영향을 주는 이러한 중요한 아키텍처 차이점을 고려합니다.
| 범주 | Azure Data Factory | Fabric Data Factory | 마이그레이션 영향 |
|---|---|---|---|
| 사용자 지정 코드 | 사용자 지정 작업 | Azure Batch 작업 | 활동 이름은 다르지만 동일한 기능을 지원합니다. |
| Dataflows | 매핑 데이터 흐름(Spark 기반) | Dataflow Gen2 (파워 쿼리 엔진)에서 빠른 복사 및 여러 대상 | 다양한 변환 엔진 및 기능. 자세한 내용은 Data Flow 사용자 매핑에 대한 데이터 흐름에 대한 가이드를 확인하세요. |
| 데이터 세트 | 재사용 가능한 별도의 데이터 세트 개체 | 속성은 활동 내에서 인라인으로 정의됩니다. | ADF에서 Fabric 변환하면 '데이터 세트' 정보가 각 활동 내에 있습니다. |
| 동적 연결 | 연결된 서비스 속성은 매개 변수를 사용하여 동적일 수 있습니다. | 연결 속성은 동적 속성을 지원하지 않지만 파이프라인 활동은 연결 개체에 동적 콘텐츠를 사용할 수 있습니다. | 매개 변수가 있는 연결을 사용하는 메타데이터 기반 아키텍처 기반 솔루션의 경우 Fabric 연결 개체를 매개 변수화합니다. |
| 전역 매개 변수 | 전역 매개 변수 | Fabric 변수 라이브러리 | 마이그레이션 가이드가 있지만 다양한 구현 패턴 및 데이터 형식 |
| HDInsight 활동 | 다섯 개의 개별 작업(Hive, Pig, MapReduce, Spark, Streaming) | 단일 HDInsight 작업 | 변환할 때 하나의 활동 유형만 필요하지만 모든 기능이 지원됩니다. |
| 정체성 | 관리되는 식별 | Fabric 작업 영역 ID | 다른 신원 모델, 일부 계획이 필요합니다. |
| Key Vault | 모든 인증 유형과 성숙한 통합 | Fabric Key Vault 참조를 통한 제한적 통합 | 지원되는 Key Vault 원본 및 인증 기존 구성과 비교합니다. |
| 파이프라인 실행 | 파이프라인 작업 실행 | FabricDataPipeline 연결 형식을 사용하여 파이프라인 작업 호출 | 변환할 때 활동 이름 및 연결 요구 사항이 변경됩니다. |
| Scheduling | 여러 파이프라인에 하나의 트리거 또는 파이프라인당 여러 트리거를 중앙 집중식으로 관리하기 | 파이프라인당 하나의 일정 또는 일정 재사용 또는 중앙 허브가 없는 파이프라인당 여러 일정 | Fabric 현재 파이프라인별 일정 관리가 필요합니다. |
마이그레이션 경로
마이그레이션 경로는 ADF 자산 및 해당 기능 패리티에 따라 달라집니다. 옵션은 다음과 같습니다.
- 연속성을 위해 패브릭에서 Azure Data Factory 항목. - Fabric 내의 기존 Azure Data Factory 인스턴스를 라이브 보기로 표시하여 점진적인 마이그레이션 및 테스트를 가능하게 합니다. 이는 변환 도구를 사용하거나 재플랫폼하기 전에 또 하나의 좋은 첫 번째 단계이기도 합니다.
- Azure Data Factory 파이프라인에 기본 제공 업그레이드 환경 사용 - Azure Data Factory 직접 파이프라인 준비 상태를 평가하고, 호환성 결과를 검토하고, 지원되는 파이프라인을 안내된 UX를 사용하여 Fabric 작업 영역으로 마이그레이션합니다.
- 복소한 환경에 대한 관리형 마이그레이션 - Fabric 파이프라인을 다시 빌드하여 새로운 기능을 활용하고 성능을 최적화합니다. 이는 패리티 또는 사용자 지정 논리가 낮은 파이프라인에 필요하지만 아키텍처를 현대화할 수 있는 기회이기도 합니다.
Fabric 작업 영역의 Azure Data Factory 항목
Fabric 작업 영역에 기존 ADF를 추가하면 증분 방식으로 마이그레이션하는 동안 즉시 가시성과 거버넌스를 제공합니다. 팀에서 파이프라인을 보고, Fabric 작업 영역에서 구성하고, 도메인별 전환 계획을 수립할 수 있으므로 검색, 소유권 할당 및 비교 테스트에 이상적입니다. Azure Data Factory 항목을 사용하여 존재하는 항목을 카탈로그화하고, 가장 높은 값/가장 낮은 위험 파이프라인의 우선 순위를 지정하고, 변환 스크립트 및 파트너 도구가 일관되게 따를 수 있는 규칙(명명, 폴더, 연결 재사용)을 설정합니다.
Fabric에 탑재는 Azure Data Factory 항목 유형인 Bring your Azure Data Factory to Fabric를 통해 수행됩니다.
기본 제공 마이그레이션 환경을 사용하여 Azure Data Factory 파이프라인 업그레이드
Fabric 스크립트 또는 사용자 지정 도구 없이 Azure Data Factory 및 Fabric 사용자 환경을 통해 직접 Azure Data Factory 파이프라인을 평가하고 마이그레이션할 수 있는 기본 제공 평가 우선 업그레이드 환경을 제공합니다. 이 경험은 귀하에게 도움을 줍니다.
- Azure Data Factory 직접 파이프라인 및 활동 준비 상태를 평가합니다.
- 마이그레이션 전의 호환성 격차를 이해합니다.
- 병렬 검토를 위해 Azure Data Factory Fabric 작업 영역에 탑재합니다.
- 연결된 데이터 팩터리에서 지원되는 파이프라인을 점진적으로 Fabric으로 마이그레이션합니다.
- 업데이트가 필요하거나 곧 출시될 항목에 대한 수정 또는 재설계를 계획합니다.
각 파이프라인 및 활동은 명확하게 분류되어 있으며(준비, 요구 사항 검토, 출시 예정 또는 호환되지 않음), 팀이 프로덕션 워크로드를 전환하기 전에 의도적으로 마이그레이션을 계획하고 결과의 유효성을 검사할 수 있도록 지원합니다.
이 방법은 지원되지 않는 기능 및 다음 단계에 대한 가시성을 유지하면서 단계별, 낮은 위험 및 증분 마이그레이션 경로를 원하는 고객에게 적합합니다.
단계별 지침은
수동 마이그레이션
패리티가 낮은 복잡한 파이프라인에는 수동 마이그레이션이 필요하지만 아키텍처를 현대화하고 Fabric 통합된 기능을 채택할 수도 있습니다. 이 경로에는 더 많은 선행 계획 및 개발이 필요하지만 유지 관리 효율성, 성능 및 비용에서 장기적인 이점을 얻을 수 있습니다.
효과적으로 마이그레이션하려면 다음 단계를 수행합니다.
- 평가 및 인벤토리: 파이프라인, 데이터 세트, 연결된 서비스 및 통합 런타임을 포함한 모든 ADF 자산을 카탈로그화합니다. 종속성 및 사용 패턴을 식별합니다.
- 중복 항목 및 사용되지 않는 항목 식별: ADF에서 사용하지 않거나 중복된 항목을 정리하여 마이그레이션 및 데이터 통합 환경을 간소화합니다.
- 간격 식별하기: 마이그레이션 평가 도구를 사용하고 커넥터 패리티 및 액티비티 패리티를 검토하여 ADF 파이프라인과 Fabric 파이프라인 간의 차이를 식별하고 대안을 계획합니다.
- 새 기능 보기: 데이타 이동 결정 가이드 및 데이타 통합 결정 가이드를 사용하여 요구 사항에 가장 적합한 Fabric 도구를 결정합니다.
- Plan: 각 항목에 대한 고려 사항과 Fabric의 향상된 기능을 최대한 활용하기 위한 지침에 대한 마이그레이션 모범 사례를 검토하세요.
- ADF에서 전역 매개 변수를 사용하는 경우 이 매개 변수를 Fabric의 변수 라이브러리로 마이그레이션할 계획을 세우십시오. 자세한 단계는 ADF 전역 매개 변수를 Fabric 변수 라이브러리로 변환 참조하세요.
- ADF 전환: Microsoft Fabric의 Azure Data Factory 항목을 마이그레이션의 첫 번째 단계로 추가하여 단일 플랫폼에서 점진적 전환을 허용합니다.
- 우선 순위: 비즈니스 영향, 복잡성 및 마이그레이션 용이성을 기준으로 파이프라인의 순위를 지정합니다.
- 자동화할 수 있는 부분을 찾아라: 내장된 업그레이드 기능을 활용하여 프로덕션 워크로드를 이동하기 전에 파이프라인을 단계적으로 평가하고, 마이그레이션하며, 유효성을 검사하십시오. 자세한 내용은 업그레이드 도구를 참조하세요.
-
도구 고려: 다음 도구를 사용하여 레크리에이션을 더 쉽게 수행할 수 있습니다.
- Fabric 템플릿을 일반적인 데이터 통합 시나리오가 있는 파이프라인의 시작 위치로 사용합니다.
- 매개 변수화를 사용하여 재사용 가능한 파이프라인 만들기
- Fabric Data Factory에서 Copilot 사용하여 파이프라인 만들기를 지원합니다.
- CI/CD 및 버전 제어에 배포 파이프라인 사용
-
관리적 마이그레이션: 다른 마이그레이션 메서드에서 지원되지 않는 시나리오의 경우 Fabric 다시 빌드합니다.
- 연결 만들기: ADF의 연결된 서비스를 대체하도록 Fabric Connections 설정
- 활동 다시 만들기: 파이프라인에서 활동을 설정하고, 지원되지 않는 활동을 Fabric 대안으로 교체하거나 호출 파이프라인 활동을 사용하십시오.
- 트리거를 예약하고 설정합니다: ADF 일정과 일치하도록 Fabric 일정 및 이벤트 트리거를 수정합니다.
- 철저히 테스트: 예상되는 출력, 성능 벤치마크 및 규정 준수 요구 사항에 대해 마이그레이션된 파이프라인의 유효성을 검사합니다.
샘플 마이그레이션 시나리오
ADF에서 Fabric 이동에는 사용 사례에 따라 다른 전략이 포함될 수 있습니다. 이 섹션에서는 효과적으로 계획하는 데 도움이 되는 일반적인 마이그레이션 경로 및 고려 사항을 간략하게 설명합니다.
- 시나리오 1: ADF 파이프라인 및 데이터 흐름
- 시나리오 2: CDC, SSIS 및 Airflow를 사용하는 ADF
- 시나리오 3: 기본 제공 환경을 사용한 파이프라인 업그레이드
- Scenario 4: Fabric 작업 영역의 ADF 항목
시나리오 1: ADF 파이프라인 및 데이터 흐름
파이프라인 및 데이터 흐름을 Fabric 이동하여 ETL 환경을 현대화합니다. 다음 요소에 대한 계획:
- 연결된 서비스를 연결로 변환하십시오.
- 전역 매개 변수를 변수 라이브러리로 다시 만들기
- 파이프라인 작업에서 인라인 데이터 세트 속성 정의
- SHIR(자체 호스팅 통합 런타임)을 OPDG(온-프레미스 데이터 게이트웨이)로 바꾸고 VNet RS를 Virtual Network Data Gateway로 바꿉니다.
- Fabric 대안 또는 호출 파이프라인 작업을 사용하여 지원되지 않는 ADF 작업을 다시 빌드합니다. 지원되지 않는 활동은 다음과 같습니다.
- 사용되지 않는 Azure 서비스인 Data Lake Analytics(U-SQL)
- 메타데이터 가져오기, 파이프라인 루프 및 If 활동을 사용하여 다시 작성할 수 있는 유효성 검사 작업
- Fabric에 완전히 통합되어 데이터 흐름으로 M 코드를 재사용할 수 있는 파워 쿼리
- Notebook, Jar 및 Python 활동을 Fabric Databricks 활동으로 바꿀 수 있습니다.
- Hive, Pig, MapReduce, Spark 및 스트리밍 작업은 Fabric HDInsight 작업으로 바꿀 수 있습니다.
예를 들어 파일 경로 및 압축 설정이 있는 ADF 데이터 세트 구성 페이지는 다음과 같습니다.
다음은 Fabric 플랫폼의 Data Factory에서 제공되는 Copy 작업 예시로, 작업 내에서 압축과 파일 경로가 인라인으로 설정됩니다.
시나리오 2: CDC, SSIS 및 Airflow를 사용하는 ADF
CDC를 복사 작업 항목으로 다시 만듭니다. Airflow의 경우 DAG를 Fabric Apache Airflow 제품에 복사합니다. ADF 파이프라인을 사용하여 SSIS 패키지를 실행하고, Fabric에서 호출합니다.
시나리오 3: 기본 제공 마이그레이션 환경을 사용한 파이프라인 업그레이드
이 단계별 평가 우선 환경을 사용하면 준비 상태를 평가하고, 호환성 격차를 식별하고, 지원되는 파이프라인을 스크립트 없이 Fabric 작업 영역으로 증분 방식으로 마이그레이션할 수 있습니다. 자세한 내용은 Azure Data Factory 파이프라인을 Fabric으로 업그레이드하기를 참조하세요.
시나리오 4: Fabric 작업 영역의 ADF 항목
Fabric 작업 영역에서 전체 ADF 팩터리를 네이티브 항목으로 추가할 수 있습니다. 이렇게 하면 동일한 인터페이스 내에서 Fabric 아티팩트와 함께 ADF 팩터리를 관리할 수 있습니다. ADF UI는 완전히 액세스할 수 있으므로 Fabric 작업 영역에서 직접 ADF 팩터리 항목을 모니터링, 관리 및 편집할 수 있습니다. 그러나 파이프라인, 활동 및 통합 런타임의 실행은 여전히 Azure 리소스 내에서 발생합니다.
이 기능은 ADF 및 Fabric 리소스에 대한 통합 보기를 제공하여 마이그레이션 관리 및 계획을 간소화하므로 Fabric 전환하는 조직에 유용합니다.
자세한 내용은 Azure Data Factory를 Fabric에 통합하기를 참고하십시오.