구조화된 파일을 델타 테이블로 변환

바로 가기 변환을 사용하여 구조화된 파일을 쿼리 가능한 델타 테이블로 변환합니다. 원본 데이터가 이미 CSV, Parquet, JSON 또는 Excel과 같은 테이블 형식인 경우 파일 변환은 ETL 파이프라인을 빌드하지 않고 SQL, Spark 또는 Power BI를 사용하여 쿼리할 수 있도록 해당 데이터를 Delta Lake 형식으로 자동으로 복사하고 변환합니다.

요약, 번역 또는 감정 분석과 같은 AI 처리가 필요한 구조화되지 않은 텍스트 파일은 바로 가기 변환(AI 기반)을 참조하세요.

바로 가기 변환은 항상 원본 데이터와 동기화된 상태로 유지됩니다. Fabric Spark 컴퓨팅 은 변환을 실행하고 OneLake 바로 가기에서 참조하는 데이터를 관리되는 델타 테이블에 복사합니다. 자동 스키마 처리, 심층 평면화 기능 및 여러 압축 형식에 대한 지원을 통해 바로 가기 변환은 ETL 파이프라인을 빌드하고 유지 관리하는 복잡성을 제거합니다.

바로 가기 변환을 사용하는 이유는 무엇인가요?

• 자동 변환 – 패브릭은 수동 파이프라인 오케스트레이션 없이 원본 파일을 복사하고 델타 형식으로 변환합니다.
• 자주 동기화 – 패브릭은 2분마다 바로 가기를 폴링하고 변경 내용을 동기화합니다.
• 재귀 폴더 검색 – 패브릭은 하위 폴더를 자동으로 트래버스하여 전체 디렉터리 계층 구조에서 파일을 검색하고 변환합니다.
• Delta Lake 출력 – 결과 테이블은 Apache Spark 엔진과 호환됩니다.
• 상속된 거버넌스 – 바로 가기는 OneLake 계보, 권한 및 Microsoft Purview 정책을 상속합니다.

사전 요구 사항

지원되는 파일 형식

바로 가기 변환은 OneLake의 바로 가기에서 지원하는 모든 데이터 원본의 폴더에서 작동합니다.

데이터 변환을 사용하여 테이블 바로 가기 만들기

테이블 단축키는 Lakehouse의 Tables 폴더에서 하나의 델타 테이블을 생성합니다. CSV, Parquet, JSON 또는 Excel 파일을 변환하는 데 사용합니다.

여러 시트가 있는 Excel 파일의 경우 표 바로 가기는 선택한 시트를 하나의 델타 테이블로 결합합니다. 시트당 델타 테이블이 하나 필요한 경우 대신 스키마 바로 가기 를 만듭니다.

1. 레이크하우스에서 테이블 폴더 아래의 스키마를 마우스 오른쪽 단추로 클릭한 다음 새 테이블 바로 가기를 선택합니다. Azure 데이터 레이크, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint 또는 OneDrive와 같은 바로 가기 원본을 선택합니다.

   

2. CSV, Parquet 또는 JSON 파일이 있는 폴더를 선택하거나 .xlsx 파일이 포함된 폴더를 선택합니다.

3. 변환 단계에서 델타 변환에 대한 설정을 구성합니다.

   • CSV 파일:

     • 구분 기호 – 쉼표, 세미콜론, 파이프, 탭, 앰퍼샌드 또는 공백과 같은 열을 구분하는 데 사용되는 문자를 선택합니다.
     • 첫 번째 행을 머리글로 - 첫 번째 행에 열 이름이 포함되어 있는지 여부를 나타냅니다.

   • Excel 파일:

     • 첫 번째 행을 머리글로 - 첫 번째 행에 열 이름이 포함되어 있는지 여부를 나타냅니다.
     • 포함할 시트 – 모든 시트 또는 시트의 하위 집합만 선택합니다. 이름, 인덱스 또는 와일드카드 패턴을 사용하여 시트를 선택할 수 있습니다(예: Sales_*는 Sales_Q1 및 Sales_2026와 같은 시트와 일치합니다). 와일드카드 패턴 매칭은 대/소문자를 구분하지 않습니다.

4. 바로 가기 구성을 검토합니다. 미리 보기 바로 가기 단계에서 만들기를 선택하기 전에 다음 설정을 구성할 수도 있습니다.

   • 바로 가기 이름 – 연필 아이콘을 선택하여 바로 가기 이름을 편집합니다.
   • 하위 폴더 포함 – 중첩된 하위 디렉터리에서 파일의 재귀 처리를 사용하도록 설정합니다. 이 옵션은 기본적으로 새 변환에 대해 선택됩니다. 최상위 폴더만 처리하려면 확인란의 선택을 취소합니다.

5. 바로 가기 모니터링 허브 관리에서 새로 고침을 추적하고 로그를 봅니다.

Fabric Spark 컴퓨팅은 델타 테이블을 만들고 바로 가기 관리 창에 진행률을 표시합니다.

Excel 파일의 경우 결과 델타 테이블에는 모든 행을 원본 파일 및 __filepath__ 시트로 다시 추적할 수 있도록 메타데이터 열이 포함됩니다__sheetname__.

데이터 변환을 사용하여 스키마 바로 가기 만들기

스키마 바로 가기는 레이크하우스의 Tables 폴더에 있는 새 스키마 아래에 표시되는 여러 델타 테이블을 만듭니다. Excel 통합 문서에 여러 개의 시트가 있고 시트당 하나의 델타 테이블을 원할 때 사용합니다.

데이터 변환이 포함된 스키마 바로 가기는 현재 Excel(.xlsx) 파일에만 사용할 수 있습니다. 또한 스키마가 활성화된 레이크하우스가 필요합니다. 자세한 내용은 Lakehouse 스키마를 참조하세요.

1. Lakehouse에서 Tables 폴더를 마우스 오른쪽 단추로 클릭한 다음 새 스키마 바로 가기를 선택합니다.

   

2. 이 바로 가기에 대한 데이터 원본을 선택하고 파일이 포함된 .xlsx 폴더로 이동합니다.

3. 변환 단계에서 델타 변환에 대한 설정을 구성합니다.

   • 첫 번째 행을 머리글로 - 첫 번째 행에 열 이름이 포함되어 있는지 여부를 나타냅니다.
   • 포함할 시트 – 모든 시트 또는 시트의 하위 집합만 선택합니다. 이름, 인덱스 또는 와일드카드 패턴을 사용하여 시트를 선택할 수 있습니다.

   

4. 바로 가기 구성을 검토합니다. 미리 보기 바로 가기 단계에서 만들기를 선택하기 전에 다음 설정을 구성할 수도 있습니다.

   • 바로 가기 이름 – 연필 아이콘을 선택하여 바로 가기 이름을 편집합니다.
   • 하위 폴더 포함 – 중첩된 하위 디렉터리에서 파일의 재귀 처리를 사용하도록 설정합니다. 이 옵션은 기본적으로 새 변환에 대해 선택됩니다. 최상위 폴더만 처리하려면 확인란의 선택을 취소합니다.

5. 바로 가기 모니터링 허브 관리에서 새로 고침을 추적하고 로그를 봅니다.

Fabric Spark 컴퓨팅은 선택한 시트에 대해 별도의 델타 테이블을 만들고 원본 파일과 동기화된 상태로 유지합니다. 시트 이름은 자동으로 유효한 테이블 이름으로 정리됩니다. 예를 들어 이름이 지정된 Sales Data (Q1) 시트는 .가 됩니다.Sales_Data_Q1

동기화 작동 방식

초기 로드 후 Fabric Spark 컴퓨팅:

• 2분마다 바로 가기 대상을 폴링합니다.
• 새 파일 또는 수정된 파일을 검색하고 그에 따라 행을 추가하거나 덮어씁니다.
• 삭제된 파일을 검색하고 해당 행을 제거합니다.

하위 폴더 지원을 사용하도록 설정하면 시스템은 대상 폴더 내의 모든 중첩된 하위 디렉터리에서 파일을 재귀적으로 검색하고 처리합니다.

모니터링 및 문제 해결

단축 변환에는 데이터 수신 상태를 추적하고 문제를 진단하는 데 도움이 되는 모니터링 및 오류 처리가 포함됩니다.

1. Lakehouse를 열고 변환을 제공하는 바로 가기를 마우스 오른쪽 단추로 클릭합니다.

2. 바로 가기 관리를 선택합니다.

3. 세부 정보 창에서 다음을 볼 수 있습니다.

   • 상태 – 마지막 검사 결과 및 현재 동기화 상태입니다.

   • 새로 고침 기록 – 행 수 및 오류 세부 정보가 있는 동기화 작업의 시간순 목록입니다.

   • 하위 폴더 포함 – 하위 폴더 변환을 사용할 수 있는지 여부를 나타냅니다(예 또는 아니요).

     

4. 문제를 해결하기 위해 로그에서 자세한 내용을 확인합니다.

   

제한점

현재 바로 가기 변환에는 다음과 같은 제한 사항이 적용됩니다.

일반적인 제한 사항

• 원본 형식: CSV, JSON, Parquet 및 Excel 파일이 지원됩니다.
• 파일 스키마 일관성: 파일은 동일한 스키마를 공유해야 합니다.
• 작업 영역 가용성:Lakehouse 항목(데이터 웨어하우스 또는 KQL 데이터베이스 아님)에서만 사용할 수 있습니다.
• 쓰기 작업: 변환은 읽기 최적화됩니다. 변환 대상 테이블의 DIRECT MERGE INTO 또는 DELETE 문은 지원되지 않습니다.
• 스키마 바로 가기 가용성: 파일 변환에 대한 스키마 바로 가기는 Excel 파일만 지원합니다.

CSV 제한 사항

• 지원되지 않는 데이터 형식: 복잡한 논리 형식 - MAP/LIST/STRUCT, 원시 바이너리.

JSON 제한 사항

• 배열 데이터 형식의 평면화: 배열 데이터 형식은 델타 테이블에 유지되며 Spark SQL 및 PySpark를 사용하여 액세스할 수 있습니다. 추가 변환을 위해 실버 레이어를 위한 패브릭의 실체화된 레이크 뷰를 사용하세요.
• 평면화 깊이: 중첩된 구조체는 최대 5층 깊이까지 평면화됩니다. 더 심층 중첩하려면 전처리가 필요합니다.

Excel 제한 사항

• 셀 범위: 데이터는 항상 셀 A1부터 읽습니다. 데이터가 다른 셀에서 시작되거나 명명된 테이블 또는 범위를 사용하는 통합 문서는 대상으로 지정할 수 없습니다.
• 행 건너뛰기: 실제 데이터의 위 또는 아래에 있는 제목 배너, 메타데이터 프리앰블 및 바닥글 요약은 제외할 수 없습니다. 데이터 행으로 수용됩니다.
• 스키마 유추: 스키마 유추는 항상 Excel 파일에 대해 사용하도록 설정됩니다. 앞에 0이 있는 식별자(예: 우편 번호 또는 02134 직원 ID 등 001245)는 정수로 변환되어 선행 0을 제거합니다.
• 숨겨진 시트: 이름 또는 인덱스로 명시적으로 필터링하지 않는 한 숨겨진 시트와 시스템 시트를 포함한 모든 시트가 처리됩니다.
• 통화 서식 지정: 통화 서식이 지정된 셀(예: $1,234.56)은 일반 숫자 값으로 변환됩니다. 통화 기호가 제거됩니다.
• 민감도 레이블: Microsoft Purview 민감도 레이블이 있는 통합 문서는 처리할 수 없습니다.
• 손상된 행: Excel 판독기는 손상된 레코드 격리를 지원하지 않습니다. 시트 내의 손상되거나 형식이 일치하지 않는 행은 별도로 격리하고 기록할 수 없습니다.
• 시트 제한: 시트가 25개 이상인 파일은 건너뜁니다.
• 레거시 형식:.xls (레거시 이진 형식)은 최상의 노력으로 지원되며 복잡한 서식 지정에 대한 충실도가 감소할 수 있습니다. .xlsx 는 권장되는 형식입니다.
• 수식 평가: Spark는 수식 셀의 캐시된 값을 읽습니다. 통합 문서가 계산된 값으로 저장되지 않은 경우 수식 셀이 비어 있거나 부실하게 표시될 수 있습니다.

하위 폴더 제한 사항

• 새 변환에만 사용할 수 있습니다. 기존 변환은 하위 폴더 지원을 사용하도록 설정할 수 없습니다.
• 하위 폴더 지원을 사용하도록 설정하면 사용하지 않도록 설정할 수 없습니다.
• 대상 폴더 내부에 있는 중첩된 바로 가기는 무시됩니다. 실제 폴더 및 파일만 처리됩니다.
• 특정 하위 폴더의 선택적 포함 또는 제외는 지원되지 않습니다.
• 중첩된 폴더는 SharePoint 바로 가기에서 작동하지 않습니다.

패브릭 로드맵 및 패브릭 업데이트 블로그를 사용하여 새로운 기능 및 릴리스에 대해 알아봅니다.

정리

동기화를 중지하려면 Lakehouse 탐색기에서 바로 가기 변환을 삭제합니다.

변환을 삭제해도 기본 파일은 제거되지 않습니다.