중요합니다
데이터 흐름 gen2의 매핑 데이터 흐름 변환은 현재 공개 미리 보기로 제공되며 변경될 수 있습니다.
데이터 흐름 gen2의 MDF(매핑 데이터 흐름) 변환을 사용하면 Microsoft Fabric Data Factory 내에서 직접 Spark 기반 데이터 변환을 작성, 실행 및 모니터링할 수 있습니다.
MDF 변환은 dataflow gen2와 통합된 익숙한 로우코드 시각적 작성 환경을 통해 Azure Data Factory 및 Azure Synapse Analytics의 매핑 데이터 흐름 기능을 Microsoft Fabric으로 가져옵니다.
MDF 변환을 사용하면 다음을 수행할 수 있습니다.
- 기존 Azure Data Factory 및 Azure Synapse Analytics 매핑 데이터 흐름 파이프라인을 Fabric 마이그레이션합니다.
- Fabric에서 직접 새로운 Spark 기반 변환을 만드세요.
- Fabric 데이터 파이프라인을 사용하여 MDF 변환을 실행합니다.
- 통합 모니터링 환경을 사용하여 변환 실행을 모니터링합니다.
- Fabric 내에서 친숙한 매핑 Data Flow 변환 패턴을 계속 사용합니다.
매핑 데이터 흐름 변환이란?
MDF 변환은 대규모 데이터 준비 및 변환 워크로드를 위한 Spark 기반 변환 기능을 사용하여 데이터 흐름 gen2를 확장합니다.
MDF 변환은 다음을 제공합니다.
- 코드가 낮은 시각적 제작 환경
- Spark 기반 실행
- Fabric 파이프라인을 통한 통합 오케스트레이션
- Fabric에서 직접 모니터링 및 실행 관련 인사이트
MDF 변환을 사용하여 다음 작업을 수행합니다:
- 기존 Azure Data Factory 또는 Azure Synapse Analytics 매핑 데이터 흐름 파이프라인을 Fabric 마이그레이션합니다.
- Fabric에서 직접 새로운 Spark 기반 변환 파이프라인을 구축합니다.
MDF 변환은 데이터 흐름 gen2와 완전히 통합되며 Azure Data Factory 및 Azure Synapse Analytics 매핑 데이터 흐름과 유사한 친숙한 작성 환경을 제공합니다.
지원되는 시나리오
MDF 변환은 현재 다음 시나리오를 지원합니다.
기존 매핑 데이터 흐름 마이그레이션
Azure Data Factory/Synapse Analytics 기본 제공 마이그레이션 환경을 사용하여 기존 Azure Data Factory 및 Azure Synapse Analytics 매핑 데이터 흐름을 Fabric 마이그레이션할 수 있습니다.
마이그레이션 중:
- 매핑 데이터 흐름은 Dataflow Gen2에서 MDF 변환으로 전환됩니다.
- 파이프라인 및 변환 논리는 함께 마이그레이션됩니다.
- MDF 변환은 데이터 흐름 gen2의 포함된 변환 캔버스 내에서 열립니다.
- Fabric 기존 변환 논리를 계속 작성, 유효성 검사, 실행 및 모니터링할 수 있습니다.
Fabric에서 새 매핑 데이터 흐름 변환 만들기
데이터 흐름 gen2에서 직접 새 MDF 변환을 만들 수도 있습니다. 이 환경을 통해 다음을 수행할 수 있습니다.
- 시각적 인터페이스를 사용하여 Spark 기반 변환을 빌드합니다.
- 익숙한 매핑 데이터 흐름 변환 기능을 사용합니다.
- Fabric 데이터 파이프라인을 사용하여 변환을 실행합니다.
- 통합 모니터링 환경을 통해 실행을 모니터링합니다.
사전 요구 사항
데이터 흐름 gen2에서 MDF 변환을 사용하기 전에 다음 필수 구성 요소가 충족되는지 확인합니다.
- Fabric 용량입니다.
- Fabric 작업 영역에 대한 기여자 이상의 권한
- 지원되는 데이터 원본에 대한 기존 Fabric 연결입니다.
- (선택 사항) 마이그레이션 시나리오를 사용하는 경우 기존 Azure Data Factory 또는 Azure Synapse Analytics 작업 영역입니다.
Limitations
다음 기능은 현재 공개 미리 보기에서 지원되지 않습니다.
| 영역 | Limitation |
|---|---|
| Flowlets | 지원되지 않습니다. |
| Data Flow 라이브러리 | 지원되지 않습니다. |
| UDF(사용자 정의 함수) | 지원되지 않습니다. |
| 데이터 흐름 실행 | MDF 변환은 파이프라인 데이터 흐름 작업을 통해서만 실행할 수 있습니다. 데이터 흐름 gen2에서 직접 실행은 현재 지원되지 않습니다. 저장 및 실행 메뉴에서는 저장 작업만 사용할 수 있습니다. |
| 관리형 Virtual Network | 관리되는 Virtual Network(관리형 VNet) 지원은 이 미리 보기에서 사용할 수 없습니다. |
| 런타임 실행 | MDF 변환 실행은 현재 Azure Data Factory 및 Azure Synapse Analytics 매핑 데이터 흐름과 유사한 기본 Synapse Spark 런타임을 사용합니다. |
| 기능 동등성 | 이 미리 보기에서 모든 매핑 Data Flow 기능을 사용할 수 있는 것은 아닙니다. |
지원되는 커넥터
MDF 변환은 Azure Data Factory 및 Azure Synapse Analytics 매핑 데이터 흐름에서 사용할 수 있는 가장 일반적으로 사용되는 원본 및 싱크 커넥터를 지원합니다.
현재 지원되는 커넥터는 다음과 같습니다.
| 카테고리 | 데이터 저장소 | 데이터 흐름 gen2의 MDF 변환(원본/싱크) | 지원되는 인증 유형 |
|---|---|---|---|
| Azure | Azure Blob Storage (애저 블롭 스토리지) | ✓/✓ | 기본, 관리형 ID / 작업 영역 ID, 서비스 프린시펄 |
| NoSQL을 위한 Azure Cosmos DB | ✓/✓ | Basic | |
| Azure Data Explorer(아주르 데이터 탐색기) | ✓/✓ | 관리 ID/작업 영역 ID | |
| Azure Data Lake Storage Gen1 | ✓/✓ | 기본, 관리형 ID / 작업 영역 ID, 서비스 프린시펄 | |
| Azure Data Lake Storage Gen2 | ✓/✓ | 기본, 관리형 ID / 작업 영역 ID, 서비스 프린시펄 | |
| Azure Database for MySQL (MySQL을 위한 Azure 데이터베이스) | ✓/✓ | Basic | |
| PostgreSQL용 Azure 데이터베이스 | ✓/✓ | Basic | |
| Azure Databricks Delta Lake | ✓/✓ 델타 형식 사용 | Basic | |
| Azure SQL 데이터베이스 | ✓/✓ | 기본, 관리형 ID / 작업 영역 ID, 서비스 프린시펄 | |
| Azure SQL Managed Instance(애저 SQL 매니지드 인스턴스) | ✓/✓ | 기본, 관리형 ID / 작업 영역 ID, 서비스 프린시펄 | |
| Azure Synapse Analytics | ✓/✓ | Basic | |
| Database | Snowflake | ✓/✓ | Basic |
| 파일 | 아마존 S3 | ✓/✓ | Basic |
| SFTP | ✓/✓ | Basic | |
| 일반 REST | ✓/✓ | 기본, 서비스 주체 |
작성 중:
- 기존 Fabric 연결을 다시 사용할 수 있습니다.
- 데이터 가져오기 환경을 사용하여 작성 환경에서 직접 새 연결을 만들 수 있습니다.
- 원본 및 싱크 구성은 익숙한 매핑 Data Flow 패턴을 따릅니다.
지원되는 변환
MDF 변환은 Fabric 확장 가능한 Spark 기반 데이터 변환 파이프라인을 빌드하기 위한 친숙한 로우 코드 시각적 변환 환경을 제공합니다.
현재 지원되는 변환은 다음과 같습니다.
| Name | 카테고리 | Description |
|---|---|---|
| 집계 | 스키마 수정자 | 기존 또는 계산 열별로 그룹화된 SUM, MIN, MAX 및 COUNT와 같은 집계를 정의합니다. |
| 행 변경 | 행 한정자 | 행에 대한 삽입, 삭제, 업데이트 및 upsert 정책을 설정합니다. |
| Assert | 행 한정자 | 데이터 스트림의 행에 대한 어설션 규칙을 정의합니다. |
| Cast | 스키마 수정자 | 형식 검사를 사용하여 열 데이터 형식을 변경합니다. |
| 조건부 분할 | 다중 입력/출력 | 일치하는 조건에 따라 행을 다른 스트림으로 라우팅합니다. |
| 파생 열 | 스키마 수정자 | 식을 사용하여 새 열을 생성하거나 기존 필드를 수정합니다. |
| 외부 호출 | 스키마 수정자 | 각 행에 대해 인라인으로 외부 엔드포인트를 호출합니다. |
| Exists | 다중 입력/출력 | 데이터가 다른 원본 또는 스트림에 있는지 확인합니다. |
| 필터 | 행 한정자 | 조건에 따라 행을 필터링합니다. |
| 평면화(flatten) | 포맷터 | JSON 배열과 같은 계층 구조를 행으로 평면화합니다. |
| 참여 | 다중 입력/출력 | 두 원본 또는 스트림의 데이터를 결합합니다. |
| Lookup | 다중 입력/출력 | 다른 원본 또는 스트림에서 데이터를 참조합니다. |
| 새 분기 | 다중 입력/출력 | 동일한 스트림에 여러 변환 경로를 적용합니다. |
| Parse | 포맷터 | JSON, 구분된 텍스트 또는 XML 형식 문자열을 구문 분석합니다. |
| 피벗 | 스키마 수정자 | 고유 행 값을 열로 변환합니다. |
| Rank | 스키마 수정자 | 정렬 조건에 따라 정렬된 순위를 생성합니다. |
| Select | 스키마 수정자 | 열 이름을 바꾸거나, 순서를 변경하거나, 제거합니다. |
| 싱크대 | - | 변환된 데이터의 대상을 정의합니다. |
| 정렬 | 행 한정자 | 현재 데이터 스트림의 행을 정렬합니다. |
| Source | - | 데이터 흐름의 원본을 정의합니다. |
| Stringify | 포맷터 | 복합 형식을 문자열 값으로 변환합니다. |
| 서로게이트 키 | 스키마 수정자 | 순차적으로 증가하는 서로게이트 키 값을 생성합니다. |
| Union | 다중 입력/출력 | 여러 데이터 스트림을 세로로 결합합니다. |
| 피벗 해제 | 스키마 수정자 | 열을 행 값으로 변환합니다. |
| Window | 스키마 수정자 | 데이터 스트림에 대한 창 기반 집계를 정의합니다. |
Dataflow Gen2에서 매핑 데이터 흐름 변환 만들기
Fabric에서 새 MDF 변환을 만들려면 다음을 수행합니다.
Fabric 작업 영역을 엽니다.
새 항목선택합니다.
데이터 흐름 Gen2를 선택합니다.
데이터 흐름 gen2 항목의 이름을 입력하고 만들기를 선택합니다.
데이터 흐름 gen2 캔버스에서 다음 옵션 중 하나를 사용합니다.
- 데이터 흐름 gen2 홈 리본의 새 작업 그룹에서 매핑 데이터 흐름 변환 실행을 선택합니다.
- 캔버스에서 매핑 데이터 흐름 변환 실행(ADF 매핑 데이터 흐름) 타일을 선택합니다.
데이터 흐름 gen2 캔버스에 새 MDF 변환 작업이 나타나고 포함된 MDF 변환 작성 환경이 열립니다.
Tip
MDF 변환 작성 환경에서는 Azure Data Factory 및 Azure Synapse Analytics 매핑 데이터 흐름과 유사한 친숙한 시각적 인터페이스를 사용합니다.
작성자 매핑 데이터 흐름 변환
MDF 변환을 만든 후 변환 논리 작성을 시작할 수 있습니다.
디버그 모드 사용
대화형 작성 및 데이터 미리 보기의 경우:
- 부동 도구 모음에서 데이터 흐름 디버그 토글을 켭니다.
- 디버그 세션이 초기화되기를 기다립니다.
- 사용하도록 설정한 후에는 작성 중에 원본 및 변환 데이터를 미리 볼 수 있습니다.
메모
Spark 런타임 가용성에 따라 디버그 세션을 초기화하는 데 몇 분 정도 걸릴 수 있습니다.
원본 추가
원본을 구성하려면 다음을 수행합니다.
- 원본 추가를 선택합니다.
- 연결 유형을 선택합니다.
- 기존 Fabric 연결을 선택하거나 필요한 경우 데이터 가져오기 환경을 통해 직접 새 연결을 만듭니다.
- 원본 파일, 테이블 또는 데이터 세트를 찾아 선택합니다.
원본 연결 및 데이터 세트를 구성한 후 데이터 미리 보기 탭을 사용하여 대화형 작성 중에 원본 데이터의 유효성을 검사하고 미리 봅니다.
변환 추가
변환을 추가하려면 다음을 수행합니다.
- + 원본 또는 변환 옆에 있는 아이콘을 선택합니다.
- 변환 유형을 선택합니다.
- 변환 설정을 구성합니다.
시각적 변환 캔버스를 사용하여 변환 논리를 계속 빌드할 수 있습니다.
싱크 구성
변환 논리가 완료된 후:
- 싱크 변환을 추가합니다.
- 대상 연결을 구성합니다.
- 쓰기 설정을 구성합니다.
유효성 검사 및 저장
실행 전:
MDF 변환 도구 모음에서 유효성 검사를 선택합니다.
보고된 경우 유효성 검사 문제를 해결합니다.
저장 및 실행 메뉴에서 저장을 선택합니다.
메모
현재 공개 미리 보기에서 MDF 변환을 사용하는 데이터 흐름 gen2에 대해서는 저장 작업만 지원됩니다.
Fabric 파이프라인을 사용하여 매핑 데이터 흐름 변환을 실행
데이터 흐름 작업을 사용하여 Fabric 데이터 파이프라인을 통해 MDF 변환을 실행합니다.
MDF 변환을 실행하려면 다음을 수행합니다.
- 새 Fabric 파이프라인을 만듭니다.
- 파이프라인에 데이터 흐름 작업을 추가합니다.
- 작업 설정에서 MDF 변환을 포함하는 데이터 흐름 gen2 항목을 선택합니다.
- 실행할 MDF 변환 쿼리를 선택합니다.
- 필요에 따라 Spark 런타임 설정을 구성합니다.
- 파이프라인의 유효성을 검사하고 게시합니다.
- 파이프라인을 수동으로 실행하거나 일정 또는 트리거를 구성합니다.
Spark 런타임 설정 구성
MDF 변환은 Microsoft Fabric Data Factory와 통합된 관리형 Spark 런타임을 사용하여 실행됩니다. 다음을 포함하여 파이프라인 실행 중에 Spark 런타임 설정을 구성할 수 있습니다.
- 컴퓨팅 크기 조정
- 싱크 속성
매핑 데이터 흐름 변환 실행 모니터링
다음을 통해 MDF 변환 실행을 모니터링할 수 있습니다.
파이프라인 출력 창
모니터링 허브
모니터링 세부 정보를 보려면 다음을 수행합니다.
- 파이프라인 실행 세부 정보를 엽니다.
- 작업 실행에서 데이터 흐름 활동을 선택합니다.
- 실행 상태 및 런타임 세부 정보를 검토합니다.
