Azure Data Factory 및 Synapse Analytics를 사용하여 Azure Data Lake Analytics U-SQL 스크립트를 실행하여 데이터 처리

적용 대상: Azure Data Factory Azure Synapse Analytics

Azure Data Factory 또는 Synapse Analytics 작업 영역의 파이프라인은 연결된 컴퓨팅 서비스를 사용하여 연결된 스토리지 서비스의 데이터를 처리합니다. 일련의 작업이 포함되어 있으며, 각 작업은 특정 처리 작업을 실행합니다. 이 문서에서는 U-SQL 스크립트를 Azure Data Lake Analytics 컴퓨팅 연결 서비스에서 실행하는 Data Lake Analytics U-SQL 작업을 설명합니다.

Data Lake Analytics U-SQL 작업을 사용하여 파이프라인을 만들기 전에 Azure Data Lake Analytics 계정을 만듭니다. Azure Data Lake Analytics에 대한 자세한 내용은 Azure Data Lake Analytics 시작하기를 참조하세요.

UI를 사용하여 파이프라인에 Azure Data Lake Analytics U-SQL 작업 추가

파이프라인에서 Azure Data Lake Analytics U-SQL 작업을 사용하려면 다음 단계를 완료합니다.

1. 파이프라인 활동 창에서 데이터 레이크 검색하고 U-SQL 작업을 파이프라인 캔버스로 끌어옵니다.

2. 아직 선택되지 않은 경우 캔버스에서 새 U-SQL 작업을 선택합니다.

3. ADLA 계정 탭을 선택하여 U-SQL 작업을 실행하는 데 사용할 새 Azure Data Lake Analytics 연결된 서비스를 선택하거나 만듭니다.

   

4. 스크립트 탭을 선택하여 새 스토리지 연결된 서비스 및 스크립트를 호스트할 스토리지 위치 내의 경로를 선택하거나 만듭니다.

   

연결된 서비스 Azure Data Lake Analytics

Azure Data Lake Analytics 컴퓨팅 서비스를 Azure Data Factory 또는 Synapse Analytics 작업 영역에 연결하는 Azure Data Lake Analytics 연결된 서비스를 만듭니다. 파이프라인의 Data Lake Analytics U-SQL 작업은 이 연결된 서비스를 참조합니다.

다음 표에는 JSON 정의에서 사용하는 일반 속성에 대한 설명이 나와 있습니다.

서비스 주체 인증

Azure Data Lake Analytics 연결된 서비스에는 Azure Data Lake Analytics 서비스에 연결하려면 서비스 주체 인증이 필요합니다. 서비스 주체 인증을 사용하려면, Microsoft Entra ID에 애플리케이션 엔터티를 등록하고, 애플리케이션이 사용하는 Data Lake Analytics 및 데이터 레이크 스토어에 대한 액세스 권한을 부여해야 합니다. 자세한 단계는 서비스 간 인증을 참조하세요. 연결된 서비스를 정의하는 데 사용되므로 다음 값을 적어둡니다.

• 애플리케이션 ID
• 애플리케이션 키
• 테넌트 ID

사용자 추가 마법사를 사용하여 Azure Data Lake Analytics에 서비스 주체 권한을 부여합니다.

다음 속성을 지정하여 서비스 주체 인증을 사용합니다.

예제: 서비스 주체 인증

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "<account name>",
            "dataLakeAnalyticsUri": "<azure data lake analytics URI>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "value": "<service principal key>",
                "type": "SecureString"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "subscriptionId": "<optional, subscription id of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }       
    }
}

연결된 서비스에 대한 자세한 내용은 컴퓨팅 연결 서비스 문서를 참조하세요.

Data Lake Analytics U-SQL 작업

다음 JSON 코드 조각은 Data Lake Analytics U-SQL 작업을 사용하여 파이프라인을 정의합니다. 활동 정의에는 이전에 만든 Azure Data Lake Analytics 연결된 서비스에 대한 참조가 있습니다. Data Lake Analytics U-SQL 스크립트를 실행하기 위해 서비스는 지정한 스크립트를 Data Lake Analytics 제출하고, Data Lake Analytics 가져오고 출력하는 데 필요한 입력 및 출력이 스크립트에 정의됩니다.

{
    "name": "ADLA U-SQL Activity",
    "description": "description",
    "type": "DataLakeAnalyticsU-SQL",
    "linkedServiceName": {
        "referenceName": "<linked service name of Azure Data Lake Analytics>",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "<linked service name of Azure Data Lake Store or Azure Storage which contains the U-SQL script>",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "scripts\\kona\\SearchLogProcessing.txt",
        "degreeOfParallelism": 3,
        "priority": 100,
        "parameters": {
            "in": "/datalake/input/SearchLog.tsv",
            "out": "/datalake/output/Result.tsv"
        }
    }   
}

다음 표에는 이 작업과 관련된 속성 이름과 설명이 나와 있습니다.

스크립트 정의에 대해서는 SearchLogProcessing.txt를 참조하세요.

샘플 U-SQL 스크립트

@searchlog =
    EXTRACT UserId          int,
            Start           DateTime,
            Region          string,
            Query           string,
            Duration        int,
            Urls            string,
            ClickedUrls     string
    FROM @in
    USING Extractors.Tsv(nullEscape:"#NULL#");

@rs1 =
    SELECT Start, Region, Duration
    FROM @searchlog
WHERE Region == "en-gb";

@rs1 =
    SELECT Start, Region, Duration
    FROM @rs1
    WHERE Start <= DateTime.Parse("2012/02/19");

OUTPUT @rs1   
    TO @out
      USING Outputters.Tsv(quoting:false, dateTimeFormat:null);

위의 스크립트 예제에서 스크립트에 대한 입력 및 출력은 @in 및 @out 매개 변수에서 정의됩니다. U-SQL 스크립트의 @in 및 @out 매개 변수 값은 서비스가 ‘parameters’ 섹션을 사용하여 동적으로 전달합니다.

degreeOfParallelism 및 우선 순위와 같은 다른 속성은 물론 Azure Data Lake Analytics 서비스에서 실행되는 작업에 대한 파이프라인 정의에서도 지정할 수 있습니다.

동적 매개 변수

샘플 파이프라인 정의에서 in 및 out 매개 변수는 하드 코드된 값으로 할당됩니다.

"parameters": {
    "in": "/datalake/input/SearchLog.tsv",
    "out": "/datalake/output/Result.tsv"
}

동적 매개 변수를 대신 사용할 수 있습니다. 예시:

"parameters": {
    "in": "/datalake/input/@{formatDateTime(pipeline().parameters.WindowStart,'yyyy/MM/dd')}/data.tsv",
    "out": "/datalake/output/@{formatDateTime(pipeline().parameters.WindowStart,'yyyy/MM/dd')}/result.tsv"
}

이 경우 입력 파일은 여전히 /datalake/input 폴더에서 가져오며 출력 파일은 /datalake/output 폴더에 생성됩니다. 파일 이름은 파이프라인이 트리거될 때 전달되는 창 시작 시간을 기준으로 동적입니다.

관련 콘텐츠

다른 방법으로 데이터를 변환하는 방법을 설명하는 다음 문서를 참조하세요.

• Hive 작업
• Pig 작업
• MapReduce 작업
• Hadoop 스트리밍 작업
• Spark 작업
• .NET 사용자 지정 작업
• 저장 프로시저 작업