Azure 리소스에 대한 Azure NSP(네트워크 보안 경계) 구성

Azure Databricks 서버리스 컴퓨팅은 관리형 네트워크 인프라를 통해 클라우드 리소스에 연결됩니다. 방화벽이 클라우드 리소스를 보호하는 경우 서버리스 컴퓨팅의 트래픽을 허용해야 합니다. 구성 방법은 리소스 유형에 따라 달라집니다.

• 작업 영역의 스토리지 계정 Azure: 스토리지 계정을 NSP(네트워크 보안 경계)와 연결하고 서비스 태그를 AzureDatabricksServerless 허용합니다.

• 기타 리소스: Azure Databricks 게시한 아웃바운드 IP 주소를 허용 목록에 추가합니다.

Azure 스토리지 계정에 대한 Azure 네트워크 보안 경계 구성

Azure NSP(네트워크 보안 경계)는 PaaS(Platform-as-a-Service) 리소스에 대한 논리적 격리 경계를 만드는 기본 제공 Azure 기능입니다. 스토리지 계정을 NSP와 연결하는 경우 개별 IP 주소 또는 서브넷 ID의 복잡한 목록을 유지 관리하는 대신 간소화된 규칙 집합을 사용하여 중앙에서 네트워크 트래픽을 관리합니다. 이 섹션에서는 Azure 포털을 사용하여 Azure 스토리지 계정에 대한 서버리스 컴퓨팅 액세스를 제어하도록 NSP를 구성하는 방법을 설명합니다.

NSP는 서버리스 SQL 웨어하우스, 작업, Notebook, Lakeflow Spark 선언적 파이프라인 및 엔드포인트를 제공하는 모델에서의 액세스를 지원합니다.

주요 이점

Azure Databricks 서버리스 아웃바운드 트래픽에 NSP를 사용하면 보안 태세가 향상되는 동시에 운영 오버헤드가 크게 줄어듭니다.

지원되는 Azure 서비스

AzureDatabricksServerless 서비스 태그는 작업 영역의 Azure Storage(ADLS Gen2 포함)를 대상으로 하는 NSP 인바운드 규칙에 대해서만 지원됩니다.

Requirements

시작하기 전에 다음 요구 사항을 충족해야 합니다.

• Azure Databricks 계정 관리자여야 합니다.
• 구성하려는 Azure 리소스에 대한 기여자 또는 소유자 권한이 있어야 합니다.
• Azure 구독에서 네트워크 보안 경계 리소스를 만들 수 있는 권한이 있어야 합니다.
• 최적의 성능을 제공하고 지역 간 데이터 전송 요금을 방지하려면 Azure Databricks 작업 영역 및 Azure 리소스가 동일한 Azure 지역에 있어야 합니다.

1단계: 네트워크 보안 경계 만들기 및 프로필 ID 기록

경계를 만들고 해당 프로필 ID를 기록하려면 다음을 수행합니다.

1. Azure Portal에 로그인합니다.

2. 위쪽의 검색 상자에 네트워크 보안 경계를 입력하고 결과에서 선택합니다.

3. + 만들기를 클릭합니다.

4. 기본 사항 탭에서 다음 정보를 입력합니다.

   • 구독: Azure 구독을 선택합니다.
   • 리소스 그룹: 기존 리소스 그룹을 선택하거나 만듭니다.
   • 이름: NSP의 이름(예: databricks-nsp)을 입력합니다.
   • 지역: NSP의 지역을 선택합니다. 지역은 Azure Databricks 작업 영역 지역 및 Azure 스토리지 계정의 지역과 일치해야 합니다.
   • 프로필 이름: 프로필 이름(예: databricks-profile)을 입력합니다.

5. 검토 + 만들기를 클릭한 다음 만들기를 클릭합니다.

6. NSP를 만든 후 Azure 포털에서 이동합니다.

7. 왼쪽 사이드바에서 설정>프로필로 이동합니다.

8. 프로필을 만들거나 선택합니다(예: databricks-profile).

9. 프로필의 리소스 ID 를 복사합니다. 리소스를 프로그래밍 방식으로 연결하려면 이 ID가 필요합니다.

   Tip

   프로필 ID를 안전한 위치에 저장합니다. Azure 포털 대신 Azure CLI 또는 API를 사용하여 리소스를 연결하려는 경우 사용할 수 있어야 합니다.

2단계: 전환 모드에서 스토리지 계정을 NSP와 연결

아래 단계에 따라 Azure Databricks 서버리스 컴퓨팅에서 액세스하려는 각 Azure 스토리지 계정을 NSP 프로필과 연결해야 합니다.

1. Azure 포털에서 네트워크 보안 경계로 이동합니다.
2. 왼쪽 사이드바에서 설정 아래의 연결된 리소스로 이동합니다.
3. +기존 프로필과 리소스 연결>를 클릭합니다.
4. 1단계에서 만든 프로필(예: databricks-profile)을 선택합니다.
5. 연결을 클릭하세요.
6. 리소스 선택 창에서 Microsoft.Storage/storageAccounts을 기준으로 필터링하여 Azure Data Lake Storage Gen2 계정을 연결합니다.
7. 목록에서 스토리지 계정을 선택합니다.
8. 창 아래쪽에서 연결을 클릭합니다.

전환 모드 확인:

1. NSP에서 연결된 설정>리소스로 이동합니다.
2. 목록에서 스토리지 계정을 찾습니다.
3. 액세스 모드 열에 전환이 표시되는지 확인합니다. 전환이 기본 모드입니다.

3단계: Azure Databricks 서버리스 컴퓨팅에 대한 인바운드 액세스 규칙 추가

Azure Databricks 서버리스 컴퓨팅에서 Azure 리소스로의 트래픽을 허용하려면 NSP 프로필에 인바운드 액세스 규칙을 만들어야 합니다.

1. Azure 포털에서 네트워크 보안 경계로 이동합니다.
2. 왼쪽 사이드바에서 설정>프로필로 이동합니다.
3. 프로필을 선택합니다(예: databricks-profile).
4. 설정에서 인바운드 액세스 규칙을 클릭합니다.
5. + 추가를 클릭합니다.
6. 규칙을 구성합니다.
   • 규칙 이름: 설명이 포함된 이름(예: allow-databricks-serverless)을 입력합니다.
   • 원본 유형: 서비스 태그를 선택합니다.
   • 허용되는 원본: AzureDatabricksServerless를 선택합니다.[ your_workspace_region] (예: AzureDatabricksServerless.EastUS2). 지역 태그를 사용하면 작업 영역의 지역에서 Azure Databricks IP에 대한 액세스가 제한되어 전역 태그에 비해 노출이 줄어듭니다.
7. 추가를 클릭합니다.

4단계: 구성 확인

NSP를 구성한 후 Azure Databricks 서버리스 컴퓨팅이 스토리지에 액세스하고 NSP 활동을 모니터링할 수 있는지 확인합니다.

서버리스 컴퓨팅에서의 액세스 테스트

1. Azure 포털에서 Azure 리소스로 이동합니다.

2. 보안 + 네트워킹>네트워킹으로 이동합니다.

3. 리소스가 네트워크 보안 경계와의 연결을 표시하는지 확인합니다.

4. 상태에 전환 모드가 표시되는지 확인합니다.

5. 프로필과 연결된 인바운드 규칙을 확인하여 AzureDatabricksServerless 규칙이 목록에 포함되어 있는지(지역 또는 전역) 확인합니다.

6. Azure Databricks 작업 영역에서 테스트 쿼리를 실행하여 서버리스 컴퓨팅이 리소스에 액세스할 수 있음을 확인합니다. 예를 들어 ADLS Gen2 스토리지 계정에 대한 액세스를 테스트하려면 다음을 수행합니다.

   SELECT * FROM delta.`abfss://container@storageaccount.dfs.core.windows.net/path/to/data` LIMIT 10;
   

   쿼리가 성공하면 NSP 구성이 제대로 작동합니다.

NSP 활동 모니터링

NSP 규칙이 허용하거나 거부하는 연결 시도를 모니터링하려면 다음을 수행합니다.

1. Azure 포털에서 Azure 리소스로 이동합니다.

2. 모니터링>진단 설정으로 이동합니다.

3. + 진단 설정 추가를 클릭합니다.

4. 모니터링할 로그 범주를 선택합니다. Azure Storage 계정의 경우 다음을 선택합니다.

   • StorageRead
   • StorageWrite

5. 대상을 선택합니다.

   • Log Analytics 작업 영역 (쿼리 및 분석에 권장됨)
   • 스토리지 계정 (장기 보관용)
   • 이벤트 허브 (외부 시스템으로 스트리밍용)

6. 저장을 클릭합니다.

   Tip

   진단 로그는 NSP 규칙과 리소스 방화벽 규칙과 일치하는 연결 시도를 보여 줍니다. 전환 모드에서 로그는 각 요청이 NSP 규칙에서 허용되었는지 또는 리소스 방화벽으로 다시 떨어졌는지 여부를 나타냅니다.

NSP 액세스 모드 이해

NSP는 전환 모드와 적용 모드의 두 가지 액세스 모드를 지원합니다. Azure Databricks는 대부분의 사용 사례에 대해 전환 모드를 무기한으로 유지하는 것이 좋습니다.

전환 모드 (권장):

• 먼저 NSP 규칙을 평가한 다음 일치하는 NSP 규칙이 없으면 리소스 방화벽 규칙으로 돌아갑니다.
• 기존 네트워크 구성과 함께 NSP를 사용할 수 있습니다.
• 서비스 엔드포인트, 클래식 컴퓨팅 구성 및 공용 네트워크 트래픽 패턴과 호환됩니다.

적용 모드 (대부분의 고객에게 권장되지 않음):

• 리소스 방화벽 규칙을 우회하여 NSP 규칙과 일치하지 않는 모든 트래픽을 차단합니다. 적용 모드는 Azure Databricks 뿐만 아니라 리소스 방화벽을 통해 허용한 다른 서비스에도 영향을 줍니다. 이러한 서비스는 계속 작동하려면 NSP에 온보딩되어야 합니다.
• 서비스 엔드포인트를 사용하여 Azure Databricks 작업 영역에서 스토리지에 연결하는 경우 전환 모드로 유지됩니다.

아웃바운드 IP 주소를 사용하여 다른 리소스에 대한 액세스 구성

작업 영역과 동일한 지역에 Azure 스토리지 계정이 아닌 리소스의 경우 서버리스 컴퓨팅은 공용 IP 주소를 사용하여 리소스에 연결합니다.

서버리스가 방화벽을 사용하여 리소스에 액세스할 수 있도록 허용하려면 Azure Databricks 게시한 CIDR 블록을 허용 목록에 추가해야 합니다. 게시된 아웃바운드 IP 주소에 대한 자세한 내용은 서버리스 컴퓨팅 방화벽 미리 보기에 대한 아웃바운드 IP를 참조하세요.

사용자 환경에 대한 아웃바운드 IP 주소 찾기

1. ip-ranges.json을 다운로드하십시오.
2. JSON을 작업 영역에 적용되는 항목으로 필터링합니다. 다음 조건에 해당하는 항목만 유지:
   • service가 Databricks인 경우
   • type가 outbound인 경우
   • region 작업 영역의 지역과 일치합니다
   • platform 가 azure와 일치합니다.
3. 리소스 방화벽에서 일치하는 항목의 ipv4Prefixes (CIDR 블록)을 허용 목록에 추가하세요.

업데이트를 자동화하여 허용 목록을 최신 상태로 유지

허용 목록에 대한 업데이트를 자동화해야 합니다. Azure Databricks 시간이 지남에 따라 이러한 IP를 변경하므로 정적 일회성 복사는 결국 서버리스 연결을 중단합니다. 업데이트는 30일마다 한 번씩 게시되고, 게시 후 60일이 지나면 새 IP가 활성화되고, 새 지역이 주기적으로 추가됩니다. 허용 목록을 최신 상태로 유지하려면 다음을 수행합니다.

1. 정기적으로 (예: 30일마다) ip-ranges.json을 가져옵니다.
2. 저장된 복사본과 해당 timestampSeconds 필드를 비교하여 변경 내용을 검색합니다.
3. 변경된 경우 platform 및 region의 IP가 변경되었는지 확인하세요.
4. 방화벽 허용 목록을 새 IP로 업데이트합니다.
5. 다음 비교를 위해 파일을 저장합니다.

Considerations

서버리스 컴퓨팅에 대한 방화벽을 구성하기 전에 다음 고려 사항을 검토합니다.

• 방화벽을 구성하면 클래식 컴퓨팅 리소스의 연결에도 영향을 줍니다. 또한 클래식 컴퓨팅 리소스의 연결에 대한 IP를 허용하도록 리소스 액세스 규칙을 업데이트해야 합니다.
• 서버리스 컴퓨팅에서 연결을 테스트하기 전에 방화벽 규칙 전파 시간을 허용합니다.

다음 단계

• VPC의 리소스에 대한 프라이빗 연결 구성: PrivateLink를 사용하여 서버리스 컴퓨팅에서 VPC의 리소스에 대한 안전하고 격리된 액세스를 설정합니다. VNet의 리소스에 대한 프라이빗 연결 구성을 참조하세요.
• 프라이빗 엔드포인트 규칙 관리: 네트워크 연결 구성에 대한 프라이빗 엔드포인트 규칙 보기, 업데이트 및 제거 비공개 엔드포인트 규칙 관리를 참조하세요.