Azure Data Factory 매핑 데이터 흐름 파이프라인을 Fabric으로 업그레이드(미리 보기)

중요합니다

데이터 흐름을 Fabric 매핑하는 Azure Data Factory 업그레이드 환경은 현재 공개 미리 보기로 제공되며 변경될 수 있습니다.

이 문서의 단계에 따라 매핑 데이터 흐름이 포함된 Azure Data Factory 파이프라인을 Microsoft Fabric Data Factory로 업그레이드합니다. 이 문서에서는 Mapping Data Flows를 사용하는 파이프라인이 Dataflow Gen2의 매핑 데이터 흐름(MDF) 변환으로 변환될 때의 마이그레이션 경로를 설명합니다. 매핑 데이터 흐름이 포함되지 않은 파이프라인을 마이그레이션하려면 Azure Data Factory 파이프라인을 Fabric 업그레이드를 참조하세요.

사전 요구 사항

업그레이드를 시작하기 전에 다음이 있는지 확인합니다.

  • 매핑 데이터 흐름을 포함하는 Azure Data Factory 인스턴스에 액세스합니다.
  • Microsoft Fabric 사용 가능한 테넌트에 액세스합니다.
  • Fabric 작업 영역에 대한 기여자 이상의 권한
  • 지원되는 데이터 원본 및 대상에 대한 기존 Fabric 연결입니다.

지원되는 업그레이드 시나리오

업그레이드 도구는 다음 시나리오를 지원합니다.

  • 매핑 데이터 흐름이 포함된 Azure Data Factory 파이프라인.
  • 매핑 데이터 흐름을 포함하는 Azure Synapse Analytics 파이프라인
  • 기존 Mapping Data Flow 워크로드의 Fabric으로의 리프트 앤 시프트 마이그레이션

마이그레이션 시작

다음 진입점 중 하나에서 매핑 데이터 흐름이 포함된 Azure Data Factory 파이프라인 마이그레이션을 시작할 수 있습니다.

진입점 적합한 대상 시작 단계
Azure Data Factory에서 마이그레이션 전에 파이프라인 준비 상태 평가 실행 옵션 A: Azure Data Factory
Fabric 작업 영역에서 Fabric Azure Data Factory 인스턴스 직접 탑재 및 마이그레이션 옵션 B: Fabric에서 시작

두 옵션 모두 마이그레이션 파이프라인에서 계속됩니다.

옵션 A: Azure Data Factory에서 시작

다음을 수행하려는 경우 이 옵션을 사용합니다.

  • 마이그레이션 준비 검토
  • 마이그레이션 평가 실행
  • 마이그레이션 전에 지원되는 파이프라인 평가

Azure Data Factory 마이그레이션 시작

  1. Azure Data Factory 포털을 엽니다.

  2. Fabric으로 마이그레이션(미리 보기)을 선택합니다.

  3. 시작하기를 선택합니다.

    Fabric 마이그레이션(미리 보기) 옵션 및 시작 단추를 보여 주는 Azure Data Factory 포털의 스크린샷.

마이그레이션 평가 검토

  1. Fabric 마이그레이션 평가(미리 보기) 페이지에서 마이그레이션에 사용할 수 있는 지원되는 파이프라인 목록을 검토합니다.

  2. 다음을 선택합니다.

    마이그레이션 준비가 된 파이프라인을 나열하는 Fabric 마이그레이션 평가 페이지의 스크린샷.

Azure Data Factory를 Fabric에 탑재

  1. Azure Data Factory 인스턴스를 탑재할 Fabric 작업 영역을 선택합니다.

  2. 마운트를 선택합니다.

  3. 탑재 작업이 완료되면 Fabric 계속을 선택합니다.

    Azure Data Factory 인스턴스를 탑재하는 데 사용되는 Fabric 작업 영역 선택 화면의 스크린샷.

    Microsoft Fabric에 탑재된 Azure Data Factory 인스턴스를 열기 위한 Continue in Fabric 화면의 스크린샷

옵션 B: Fabric에서 시작

마이그레이션하려는 Azure Data Factory 인스턴스를 이미 알고 Fabric 직접 시작하려는 경우 이 옵션을 사용합니다.

Fabric에서 Azure Data Factory 탑재

  1. Fabric 작업 영역을 엽니다.

  2. 새 항목선택합니다.

  3. Azure Data Factory 선택합니다.

    Azure Data Factory 선택을 보여 주는 Microsoft Fabric 작업 영역 새 항목 환경의 스크린샷.

  4. 탑재할 Azure Data Factory 인스턴스를 선택합니다.

  5. 확인을 선택합니다.

    Azure Data Factory 인스턴스 선택 대화 상자의 스크린샷

파이프라인 마이그레이션

Fabric Azure Data Factory 탑재한 후 마이그레이션 워크플로를 계속 진행합니다.

마이그레이션할 파이프라인 선택

  1. Fabric 탑재된 Azure Data Factory 항목을 엽니다.

  2. Fabric으로 마이그레이션(미리 보기)을 선택합니다.

    Fabric에 마운트된 Azure Data Factory 항목에서 Fabric으로 마이그레이션(미리 보기) 옵션을 보여 주는 스크린샷.

  3. Mapping Data Flow가 포함된 파이프라인을 선택합니다.

  4. 연결 검토를 선택합니다.

    마이그레이션 준비가 된 파이프라인을 보여 주는 파이프라인 선택 화면의 스크린샷.

연결된 서비스를 Fabric 연결에 매핑

  1. 맵 연결 페이지에서 다음을 수행합니다.

    • Azure Data Factory 연결된 서비스를 검토합니다.
    • Fabric 연결에 매핑합니다.
  2. 확인을 선택합니다.

    Fabric 연결에 Azure Data Factory 연결된 서비스를 매핑하기 위한 연결 맵 페이지의 스크린샷

마이그레이션 결과 검토

마이그레이션이 완료되면 도구는 다음을 수행합니다.

  • 파이프라인 및 매핑 데이터 흐름을 함께 마이그레이션합니다.
  • 데이터 흐름 매핑을 Dataflow Gen2의 MDF 변환으로 변환합니다.
  • 마이그레이션된 아티팩트를 Fabric 작업 영역의 새 폴더에 배치합니다.

작업 영역에서 보기를 선택합니다.

마이그레이션된 리소스 및 해당 상태를 보여 주는 마이그레이션 결과 페이지의 스크린샷

마이그레이션된 매핑 데이터 흐름 변환의 유효성 검사

마이그레이션 후 마이그레이션 폴더를 열고 업그레이드된 MDF 변환을 실행하기 전에 유효성을 검사합니다.

마이그레이션된 Dataflow Gen2 항목 열기

  1. 마이그레이션된 Dataflow Gen2 항목을 엽니다.

  2. 마이그레이션된 MDF 변환 논리를 검토합니다.

  3. MDF 변환 도구 모음을 사용하여 변환 그래프의 유효성을 검사합니다.

    마이그레이션된 변환 그래프를 보여 주는 매핑 데이터 흐름 변환 작성 환경의 스크린샷

마이그레이션된 매핑 데이터 흐름 변환 저장

  1. 저장 및 실행 메뉴를 엽니다.

  2. 저장을 선택합니다.

    매핑 데이터 흐름 변환 작성 환경의 저장 및 실행 메뉴 스크린샷

메모

현재 공개 미리 보기 중에는 MDF 변환에 대해 저장 작업만 지원됩니다.

마이그레이션된 파이프라인 실행

유효성 검사 후 마이그레이션된 Fabric 파이프라인을 실행합니다.

파이프라인 실행 구성

  1. 마이그레이션된 Fabric 파이프라인을 엽니다.

  2. 데이터 흐름 작업을 선택합니다.

  3. 선택한 MDF 변환 쿼리를 검토합니다.

  4. 필요한 경우 Spark 런타임 설정을 구성합니다.

    매핑 데이터 흐름 변환에 대한 데이터 흐름 작업 구성을 보여 주는 파이프라인 편집기의 스크린샷.

마이그레이션된 파이프라인 실행

  1. 파이프라인의 유효성을 검사합니다.

  2. 파이프라인을 수동으로 실행하거나 일정 및 트리거를 구성합니다.

    마이그레이션된 파이프라인에 대한 파이프라인 실행 및 예약 옵션의 스크린샷.

마이그레이션된 매핑 데이터 흐름 변환 실행 모니터링

다음을 통해 마이그레이션된 파이프라인 및 MDF 변환 실행을 모니터링할 수 있습니다.

  • 파이프라인 출력 창
  • 모니터링 허브
  • 활동 실행 내역
  • 데이터 흐름 활동 실행 세부 정보

데이터 흐름 작업 실행 상태를 보여 주는 파이프라인 출력 창의 스크린샷

실행 세부 정보를 검토하려면 다음을 수행합니다.

  1. 파이프라인 실행 세부 정보를 엽니다.

  2. 작업 실행에서 데이터 흐름 활동을 선택합니다.

  3. 실행 상태 및 런타임 세부 정보를 검토합니다.

    파이프라인 활동 실행 및 해당 상태를 보여 주는 모니터링 허브의 스크린샷

    처리 메트릭을 보여 주는 데이터 흐름 작업 실행 세부 정보의 스크린샷

Limitations

현재 공개 미리 보기 중에 적용되는 제한 사항은 다음과 같습니다.

영역 Limitation
Flowlets 지원되지 않습니다.
Data Flow 라이브러리 지원되지 않습니다.
UDF(사용자 정의 함수) 지원되지 않습니다.
데이터 흐름 실행 MDF 변환은 파이프라인 데이터 흐름 작업을 통해서만 실행할 수 있습니다. 데이터 흐름 새로 고침은 지원되지 않습니다.
관리형 Virtual Network 관리되는 Virtual Network 지원을 사용할 수 없습니다.
Spark 런타임 실행 MDF 변환은 현재 Azure Data Factory 및 Azure Synapse Analytics 매핑 데이터 흐름과 유사한 Spark 런타임 인프라를 사용합니다.