Azure Data Factory 및 Azure Synapse Analytics의 Iceberg 파일 형식.

적용 대상: Azure Data Factory Azure Synapse Analytics

팁

Microsoft Fabric의 데이터 팩토리는 더 간단한 아키텍처, 기본 제공 AI 및 새로운 기능을 갖춘 차세대 Azure 데이터 팩토리입니다. 데이터 통합을 접하는 경우 Fabric Data Factory부터 시작합니다. 기존 ADF 워크로드는 Fabric 업그레이드하여 데이터 과학, 실시간 분석 및 보고 전반에 걸쳐 새로운 기능에 액세스할 수 있습니다.

데이터를 Iceberg 형식으로 쓰려는 경우 이 문서를 따릅니다.

다음 커넥터에 대해 Iceberg 형식이 지원됩니다.

Copy activity Iceberg 데이터 세트를 사용할 수 있습니다.

데이터 세트 속성

데이터 세트 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트 문서를 참조하세요. 이 섹션에서는 Iceberg 형식 데이터 세트에서 지원하는 속성 목록을 제공합니다.

속성 설명 필수
타입 데이터 세트의 type 속성은 Iceberg로 설정해야 합니다. 예
위치 파일의 위치 설정입니다. 각 파일 기반 커넥터에는 location의 고유한 위치 형식 및 지원되는 속성이 있습니다. 예

다음은 Azure Data Lake Storage Gen2 Iceberg 데이터 세트의 예입니다.

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Copy activity 속성

작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인 문서를 참조하세요. 이 섹션에서는 Iceberg 싱크에서 지원하는 속성 목록을 제공합니다.

흡수원으로서의 빙산

복사 작업 *sink* 섹션에서 지원되는 속성은 다음과 같습니다.

속성 설명 필수
타입 복사 작업 원본의 type 속성을 IcebergSink로 설정해야 합니다. 예
형식 설정 속성 그룹입니다. 아래의 Iceberg 쓰기 설정 표를 참조하세요. 아니요
설정 저장 데이터 저장소에 데이터를 쓰는 방법에 대한 속성 그룹입니다. 각 파일 기반 커넥터에는 storeSettings 아래에 고유의 지원되는 쓰기 설정이 있습니다. 아니요

지원되는 Iceberg 쓰기 설정은 다음과 같습니다.formatSettings

속성 설명 필수
타입 formatSettings의 형식은 IcebergWriteSettings로 설정해야 합니다. 예

다음은 구분된 텍스트 형식과 관련된 몇 가지 일반적인 커넥터 및 형식입니다.

관련 콘텐츠

  • Last updated on