Azure Data Factory 또는 Synapse Analytics를 사용하여 Azure Data Explorer 데이터 복사

적용 대상: Azure Data Factory Azure Synapse Analytics

이 문서에서는 Azure Data Factory 및 Synapse Analytics 파이프라인에서 복사 작업을 사용하여 Azure Data Explorer 데이터를 복사하는 방법을 설명합니다. 이 문서는 복사 작업에 대한 일반적인 개요를 제공하는 복사 작업 개요 문서를 기반으로 합니다.

지원되는 기능

이 Azure Data Explorer 커넥터는 다음 기능에 대해 지원됩니다.

(1) Azure 통합 런타임(2) 자체 호스팅 통합 런타임

지원되는 모든 원본 데이터 저장소에서 Azure Data Explorer 데이터를 복사할 수 있습니다. Azure Data Explorer 지원되는 싱크 데이터 저장소로 데이터를 복사할 수도 있습니다. 복사 작업의 원본 또는 싱크로 지원되는 데이터 저장소 목록은 지원되는 데이터 저장소 테이블을 참조하세요.

Azure Data Explorer 커넥터를 사용하여 다음을 수행할 수 있습니다.

• Microsoft Entra 애플리케이션 토큰 인증을 사용하여 서비스 주체 데이터를 복사합니다.
• 원본의 경우 KQL(Kusto) 쿼리를 사용하여 데이터를 검색합니다.
• 싱크의 경우 대상 테이블에 데이터를 추가합니다.

시작

파이프라인을 사용하여 복사 작업을 수행하려면 다음 도구 또는 SDK 중 하나를 사용할 수 있습니다.

• 데이터 복사 도구
• Azure 포털
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 템플릿

UI를 사용하여 Azure Data Explorer 연결된 서비스 만들기

다음 단계를 사용하여 Azure 포털 UI에서 Azure Data Explorer 연결된 서비스를 만듭니다.

1. Azure Data Factory 또는 Synapse 작업 영역에서 관리 탭으로 이동하고 연결된 서비스를 선택한 다음 새로 만들기를 클릭합니다.

   • Azure Data Factory
   • Azure Synapse

   Azure Data Factory UI를 사용하여 새 연결된 서비스를 생성하는 스크린샷

2. 탐색기를 검색하고 Azure Data Explorer(Kusto) 커넥터를 선택합니다.

   

3. 서비스 세부 정보를 구성하고 연결을 테스트하고 새 연결된 서비스를 만듭니다.

   Azure Data Explorer에 대한 연결된 서비스 구성 스크린샷입니다.

커넥터 구성 세부 정보

다음 섹션에서는 Azure Data Explorer 커넥터와 관련된 엔터티를 정의하는 데 사용되는 속성에 대해 자세히 설명합니다.

연결된 서비스 속성

Azure Data Explorer 커넥터는 다음 인증 유형을 지원합니다. 자세한 내용은 해당 섹션을 참조하세요.

• 서비스 주체 인증
• 시스템이 할당한 관리 ID 인증
• 사용자가 할당한 관리 ID 인증

서비스 주체 인증

서비스 주체 인증을 사용하려면 다음 단계에 따라 서비스 주체를 가져오고 사용 권한을 부여합니다.

1. Microsoft ID 플랫폼 애플리케이션을 등록합니다. 방법을 알아보려면 Quickstart: Microsoft ID 플랫폼 애플리케이션 등록을 참조하세요. 연결된 서비스를 정의하는 데 사용되므로 다음 값을 적어둡니다.

   • 애플리케이션 UI
   • 애플리케이션 키
   • 테넌트 ID

2. 서비스 주체에게 Azure Data Explorer 올바른 권한을 부여합니다. 역할 및 권한에 대한 자세한 내용과 권한 관리에 대한 자세한 내용은 Azure Data Explorer 데이터베이스 권한 관리를 참조하세요. 일반적으로 다음을 수행해야 합니다.

   • 원본으로 데이터베이스에 적어도 데이터베이스 뷰어 역할을 부여합니다.
   • 싱크로 데이터베이스에 적어도 데이터베이스 사용자 역할을 부여합니다.

Azure Data Explorer 연결된 서비스에 대해 지원되는 속성은 다음과 같습니다.

예: 서비스 주체 키 인증 사용

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

시스템이 할당한 관리 ID 인증

Azure 리소스에 대한 관리 ID에 대한 자세한 내용은 Azure 리소스에 대한 관리 ID 참조하세요.

시스템이 할당한 관리 ID 인증을 사용하려면 다음 단계를 수행하여 권한을 부여합니다.

1. 팩터리 또는 Synapse 작업 영역과 함께 생성된 관리 ID개체 ID의 값을 복사하여 관리 ID 정보를 검색합니다.

2. 관리 ID에 Azure Data Explorer 올바른 권한을 부여합니다. 역할 및 권한에 대한 자세한 내용과 권한 관리에 대한 자세한 내용은 Azure Data Explorer 데이터베이스 권한 관리를 참조하세요. 일반적으로 다음을 수행해야 합니다.

   • 원본으로 데이터베이스에 데이터베이스 뷰어 역할을 부여합니다.
   • 싱크로 데이터베이스에 데이터베이스 수집기 및 데이터베이스 뷰어 역할을 부여합니다.

Azure Data Explorer 연결된 서비스에 대해 지원되는 속성은 다음과 같습니다.

예제: 시스템이 할당한 관리 ID 인증 사용

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

사용자가 할당한 관리 ID 인증

Azure 리소스의 관리 ID에 대한 자세한 내용은 Azure 리소스에 대한 관리 ID 참조하세요.

사용자가 할당한 관리 ID 인증을 사용하려면 다음 단계를 수행합니다.

1. 사용자 할당 관리 ID를 하나 이상 만들고 Azure Data Explorer 권한을 부여합니다. 역할 및 권한에 대한 자세한 내용과 권한 관리에 대한 자세한 내용은 Azure Data Explorer 데이터베이스 권한 관리를 참조하세요. 일반적으로 다음을 수행해야 합니다.

   • 원본으로 데이터베이스에 적어도 데이터베이스 뷰어 역할을 부여합니다.
   • 싱크로 데이터베이스에 적어도 데이터베이스 수집기 역할을 부여합니다.

2. 하나 이상의 사용자 할당 관리 ID를 데이터 팩터리 또는 Synapse 작업 영역에 할당하고 각 사용자 할당 관리 ID에 대해 자격 증명을 만들기합니다.

Azure Data Explorer 연결된 서비스에 대해 지원되는 속성은 다음과 같습니다.

예제: 사용자가 할당한 관리 ID 인증 사용

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

데이터 세트 속성

데이터 세트 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트를 참조하세요. 이 섹션에서는 Azure Data Explorer 데이터 세트가 지원하는 속성을 나열합니다.

데이터를 Azure Data Explorer 복사하려면 데이터 세트의 type 속성을 AzureDataExplorerTable로 설정합니다.

다음과 같은 속성이 지원됩니다.

데이터 세트 속성 예제:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

복사 작업 속성

작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인 및 작업을 참조하세요. 이 섹션에서는 원본 및 싱크에서 지원하는 Azure Data Explorer 속성 목록을 제공합니다.

Azure Data Explorer 데이터 원본으로

Azure Data Explorer 데이터를 복사하려면 복사 작업 원본의 type 속성을 AzureDataExplorerSource로 설정합니다. 복사 작업 source 섹션에서 다음 속성이 지원됩니다.

예:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Azure Data Explorer가 싱크인 경우

데이터를 Azure Data Explorer 복사하려면 복사 작업 싱크의 type 속성을 AzureDataExplorerSink로 설정합니다. 복사 작업 sink 섹션에서 다음 속성이 지원됩니다.

예:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

매핑 데이터 흐름 속성

매핑 데이터 흐름에서 데이터를 변환할 때 Azure Data Explorer 테이블에서 읽고 쓸 수 있습니다. 자세한 내용은 매핑 데이터 흐름에서 원본 변환 및 싱크 변환을 참조하세요. Azure Data Explorer 데이터 세트 또는 인라인 데이터 세트를 원본 및 싱크 형식으로 사용하도록 선택할 수 있습니다.

원본 변환

아래 표에는 Azure Data Explorer 원본에서 지원하는 속성이 나열되어 있습니다. 이러한 속성은 원본 옵션 탭에서 편집할 수 있습니다.

Azure Data Explorer 원본 스크립트 예제

Azure Data Explorer 데이터 세트를 원본 형식으로 사용하는 경우 연결된 데이터 흐름 스크립트는 다음과 같습니다.

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

인라인 데이터 세트를 사용하는 경우 연결된 데이터 흐름 스크립트는 다음과 같습니다.

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

싱크 변환

아래 표에는 Azure Data Explorer 싱크에서 지원하는 속성이 나열되어 있습니다. 이러한 속성은 설정 탭에서 편집할 수 있습니다. 인라인 데이터 세트를 사용하는 경우 데이터 세트 속성 섹션에 설명된 속성과 동일한 추가 설정이 표시됩니다.

Azure Data Explorer 싱크 스크립트 예제

Azure Data Explorer 데이터 세트를 싱크 형식으로 사용하는 경우 연결된 데이터 흐름 스크립트는 다음과 같습니다.

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

인라인 데이터 세트를 사용하는 경우 연결된 데이터 흐름 스크립트는 다음과 같습니다.

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

조회 작업 속성

속성에 대한 자세한 내용은 조회 작업을 참조하세요.

관련 콘텐츠

• 복사 작업에서 원본 및 싱크로 지원되는 데이터 저장소의 목록은 지원되는 데이터 저장소를 참조하세요.

• Azure Data Factory 및 Synapse Analytics에서 Azure Data Explorer로 데이터를 복사하는 방법에 대해 자세히 알아보세요.