조직별로 네트워크 격리 요구 사항이 다릅니다. 이 페이지에서는 일반적인 요구 사항에 대한 세 가지 참조 아키텍처를 간략하게 설명합니다. 네트워크 토폴로지, 데이터 거버넌스 요구 사항 및 송신 제어 정책에 가장 적합한 아키텍처를 식별합니다.
Databricks 아키텍처
Azure Databricks는 제어 평면 및 컴퓨팅 평면에서 작동합니다.
- 컨트롤 플레인에는 Azure Databricks가 Azure Databricks 계정에서 관리하는 백 엔드 서비스가 포함됩니다. 웹 애플리케이션은 컨트롤 플레인에 있습니다.
-
컴퓨팅 평면은 데이터가 처리되는 위치입니다. 사용 중인 컴퓨팅에 따라 두 가지 유형의 컴퓨팅 평면이 있습니다.
- 클래식 Azure Databricks 컴퓨팅의 경우 컴퓨팅 리소스는 클래식 컴퓨팅 평면이라고 하는 Azure 구독에 있습니다. 이는 Azure 구독의 네트워크 및 해당 리소스를 나타냅니다. 클래식 컴퓨팅 평면 리소스는 작업 영역과 동일한 지역에 있습니다.
- 서버리스 컴퓨팅의 경우 서버리스 컴퓨팅 리소스는 Azure Databricks 계정의 서버리스 컴퓨팅 평면 에서 실행됩니다. 서버리스 컴퓨팅 평면 리소스는 작업 영역의 클래식 컴퓨팅 평면과 동일한 클라우드 지역에 있습니다. 작업 영역을 만들 때 이 지역을 선택합니다.
클래식 컴퓨팅 및 서버리스 컴퓨팅에 대한 자세한 내용은 Compute를 참조하세요. 추가 아키텍처 정보는 고급 아키텍처를 참조하세요.
네트워크 연결 유형
Databricks는 기본적으로 보안 네트워킹 환경을 제공하지만 조직에 추가 요구 사항이 있는 경우 서로 다른 네트워킹 연결 간에 네트워크 연결 기능을 구성할 수 있습니다. 각 아키텍처는 세 가지 유형의 네트워크 연결에서 기능을 구성합니다.
- 인바운드: 사용자 및 애플리케이션에서 Azure Databricks: 액세스를 제어하고 사용자와 해당 Azure Databricks 작업 영역 간의 프라이빗 연결을 제공하도록 기능을 구성할 수 있습니다. Azure Databricks 네트워킹의 사용자를 참조하세요.
- Classic: 컨트롤 플레인 및 클래식 컴퓨팅 평면: 클러스터와 같은 클래식 컴퓨팅 리소스는 Azure 구독에 배포되고 컨트롤 플레인에 연결됩니다. 클래식 네트워크 연결 기능을 사용하여 고유한 가상 네트워크에 클래식 컴퓨팅 평면 리소스를 배포하고 클러스터에서 컨트롤 플레인으로 프라이빗 연결을 사용하도록 설정할 수 있습니다. 클래식 컴퓨팅 평면 네트워킹을 참조하세요.
- 아웃바운드: 서버리스 컴퓨팅 평면 및 스토리지: Azure Databricks 서버리스 컴퓨팅 평면에서 액세스할 수 있도록 리소스에 방화벽을 구성할 수 있습니다. 서버리스 컴퓨팅 평면 네트워킹을 참조하세요.
다음 다이어그램을 사용하여 Databricks를 통해 데이터가 흐르는 방식을 시각화합니다.
네트워크 아키텍처 선택
이러한 아키텍처는 진행 중인 각 유형의 연결에 대한 네트워크 보안을 제공합니다. 기본값으로 관리형 보안부터 시작하고, 요구 사항이 증가함에 따라 제어 기능을 추가하세요. 대부분의 조직은 완전한 프라이빗 연결로 전환하기 전에 인바운드 및 아웃바운드 트래픽의 보안을 강화합니다.
| Architecture | Description |
|---|---|
| 관리형 보안 | 당신의 시작점입니다. 보안 기본값을 사용하는 Azure Databricks 관리형 인프라입니다. 데이터 거버넌스를 위해 이 기준선 위에 Unity 카탈로그 컨트롤을 적용합니다. |
| 강화된 연결 | 관리형 보안에 더해 인그레스 및 이그레스를 강화합니다. 퍼블릭 엔드포인트를 제거하지 않고 감사 가능성 및 액세스 제어가 있어야 하는 조직에 가장 적합합니다. |
| 격리된 환경 | 강화된 연결을 기반으로 모든 액세스를 비공개로 만듭니다. 엄격한 데이터 반출 요구 사항이 있는 규제 산업(금융 서비스, 의료, 정부)의 경우. |
기능 매트릭스
다음 표에서는 각 아키텍처에 적용되는 네트워크 보안 기능을 보여줍니다.
| Connectivity | 특징 | 관리되는 보안 | 강화된 연결 | 격리된 환경 |
|---|---|---|---|---|
| 클래식 컴퓨팅 | SCC(보안 클러스터 연결) | Yes | Yes | Yes |
| 클래식 컴퓨팅 | VNet 주입 | Yes | Yes | Yes |
| 클래식 컴퓨팅 | 기존의 컴퓨팅 플레인 Private Link | Optional | Yes | Yes |
| Inbound | 작업 영역용 인바운드 Private Link | No | No | Yes |
| Inbound | 성능 집약적 서비스를 위한 인바운드 프라이빗 링크 | No | No | Yes |
| Inbound | 작업 영역 IP 액세스 목록 | No | Yes | Yes |
| Inbound | 계정 수준 IP 액세스 목록 | No | Yes | Yes |
| Inbound | 델타 공유 IP 액세스 목록 | No | Yes | Yes |
| 아웃바운드 | 서버리스 출구 제어 | No | Yes | Yes |
| 아웃바운드 | 서버리스 Private Link(NCC 프라이빗 엔드포인트) | No | Yes | Yes |
| 아웃바운드 | 서버리스 안정적인 IP | Yes | Yes | Yes |
| 아웃바운드 | 외부 방화벽 | Optional | Optional | Yes |
추가 리소스
| Resource | Description |
|---|---|
| Databricks 보안 모범 사례 | 보안 참조 아키텍처, SAT(보안 분석 도구) 및 AWS 보안 백서. |
| 네트워킹 비용 | Azure Databricks 배포에서 네트워킹 비용을 계획하고 관리합니다. |