Important
이 기능은 공개 미리보기 단계에 있습니다.
이 페이지에서는 공급자가 각 받는 사람의 네트워크를 허용 목록에 추가하지 않고도 방화벽 또는 프라이빗 엔드포인트 뒤에 있는 클라우드 스토리지의 데이터를 공유하도록 OpenSharing SecureConnect를 설정하는 방법을 설명합니다.
SecureConnect 작동 방식
Azure Databricks 계정에서 SecureConnect를 사용하도록 설정하기 전에 공급자가 일회성 구성을 만듭니다. 이 구성을 사용하면 Azure Databricks 받는 사람이 방화벽 또는 프라이빗 엔드포인트 뒤에 있는 공급자의 스토리지에 액세스할 수 있습니다. 그런 다음 Azure Databricks 관리 프록시를 통해 받는 사람 요청을 라우팅하므로 공급자는 새 받는 사람을 추가할 때 스토리지 방화벽을 업데이트할 필요가 없습니다.
받는 사람은 기존 OpenSharing 설정을 사용하여 공유 데이터에 액세스합니다.
- Azure Databricks 수신자는 공급자별 방화벽 변경 없이 서버리스 컴퓨팅에서 공유에 액세스할 수 있습니다.
- 클래식 컴퓨트의 Azure Databricks 수신자와 오픈 수신자는 공급자 리전용 Azure Databricks 제어 플레인 IP 세트 하나를 허용 목록에 추가합니다.
SecureConnect가 없으면 공급자는 모든 새 받는 사람에 대해 받는 사람 및 클라우드 플랫폼 관리자와 조정하여 각 받는 사람의 네트워크 식별자를 스토리지 방화벽에 추가해야 합니다.
요구 사항
- 계정 콘솔에서 OpenSharing SecureConnect 미리 보기를 사용하도록 설정해야 합니다. Azure Databricks 미리 보기 관리를 참조하세요.
SecureConnect를 공급자로 설정
SecureConnect를 설정하려면 액세스를 허용하도록 스토리지 방화벽을 구성하고 메타스토어 및 받는 사람에 대해 SecureConnect를 사용하도록 설정하는 작업이 포함됩니다.
1단계: 스토리지 방화벽 구성
가장 낮은 네트워킹 비용의 경우 공유 자산의 지역을 공급자 메타스토어 지역과 동일하게 유지합니다.
다음 지침에서는 공유 자산 및 공급자 메타스토어가 동일한 지역에 있다고 가정합니다.
SecureConnect는 서버리스 데이터 평면을 통해 스토리지에 액세스합니다. Azure Databricks가 리소스에 액세스할 수 있도록 하려면 Azure 리소스를 전환 모드의 네트워크 보안 경계와 연결하고 AzureDatabricksServerless 서비스 태그를 허용 목록에 추가합니다.
Azure 리소스에 대한 Azure 네트워크 보안 경계 구성을 참조하세요.
(선택 사항) NCC(네트워크 연결 구성)를 사용하여 프라이빗 연결 구성
공유 스토리지가 프라이빗 엔드포인트 뒤에 있고 공용 네트워크에서 연결할 수 없는 경우 계정 관리자는 NCC(네트워크 연결 구성)를 구성하고 공유 데이터를 호스트하는 메타스토어에 연결해야 합니다. NCC에 대한 자세한 내용은 NCC(네트워크 연결 구성)란?을 참조하세요.
작업 영역에 연결된 NCC는 메타스토어에 연결할 수 없습니다. OpenSharing의 메타스토어에 적용되는 NCC는 메타스토어에 연결된 모든 공유에 적용됩니다.
스토리지 계정에 대한 NCC 및 프라이빗 엔드포인트 규칙을 만들지만 작업 영역에 NCC를 연결하지는 않습니다. NCC 및 프라이빗 엔드포인트 설정에 대한 Azure 리소스에 대한 프라이빗 연결 구성을 참조하세요.
OpenSharing 메타스토어에 NCC를 연결합니다.
- Azure Databricks 계정 관리자로 계정 콘솔로 이동합니다.
- 사이드바에서
을 클릭합니다.카탈로그. - OpenSharing 메타스토어의 이름을 클릭하여 세부 정보를 엽니다.
- OpenSharing NCC(네트워크 연결 구성)에서 편집을 클릭합니다.
- OpenSharing에 대해 만든 NCC를 검색하여 선택합니다.
- 저장을 클릭합니다.
Important
메타스토어에 NCC를 연결할 수 없는 경우 Databricks 계정 팀에 문의하여 NCC를 사용하여 OpenSharing SecureConnect에 대한 프라이빗 연결을 사용하도록 설정합니다.
2단계: 메타스토어에서 SecureConnect 사용
메타스토어 관리자는 새 수신자가 SecureConnect를 자동으로 사용하도록 metastore를 구성할 수 있습니다. 기본적으로 새 받는 사람과 기존 받는 사람은 SecureConnect에 등록되지 않습니다. 기존 받는 사람을 별도로 구성해야 합니다. 3단계: 개별 받는 사람에 대해 SecureConnect 사용
메타스토어에서 SecureConnect를 사용하도록 설정하려면 다음을 수행합니다.
Azure Databricks 작업 영역에서
을 클릭한 후 카탈로그를 선택하여 카탈로그 탐색기를 엽니다.카탈로그 창 위쪽에서
을 클릭합니다. 기어 아이콘을 클릭하고 OpenSharing을 선택합니다.또는 오른쪽 위 모서리에서 OpenSharing 공유 > 를 클릭합니다.
오른쪽 위 모서리에서 설정을 클릭합니다.
새 받는 사람에 대해 SecureConnect를 사용 설정을 켭니다.
저장을 클릭합니다.
3단계: 개별 받는 사람에 대해 SecureConnect 사용
받는 사람 소유자 및 권한이 있는 USE_RECIPIENT 사용자는 각 받는 사람에 대해 SecureConnect를 켜거나 끕니다. 받는 사람을 만들 때 모든 새 받는 사람에 대해 metastore를 사용하도록 설정되지 않은 한 SecureConnect는 기본적으로 받는 사람에서 사용할 수 없습니다.
받는 사람에서 SecureConnect를 구성하려면 다음을 수행합니다.
Azure Databricks 작업 영역에서
을 클릭합니다.카탈로그.카탈로그 창 위쪽에서
을 클릭합니다. 기어 아이콘을 클릭하고 OpenSharing을 선택합니다.또는 오른쪽 위 모서리에서 OpenSharing 공유 > 를 클릭합니다.
내가 공유한 항목 탭에서 수신자 탭을 클릭합니다.
원하는 각 수신자에 대해 SecureConnect를 켜세요.
(선택 사항) 4단계: IP ACL을 사용하여 열린 받는 사람 액세스 제한
열려 있는 받는 사람의 경우 IP 액세스 목록을 사용하여 SecureConnect에 연결할 수 있는 클라이언트 IP 주소를 제한할 수 있습니다. IP ACL은 열려 있는 받는 사람에게만 적용됩니다.
SecureConnect를 사용하면 IP ACL이 OpenSharing 엔드포인트 액세스 및 스토리지 액세스 모두에 적용됩니다. SecureConnect가 없으면 IP ACL은 OpenSharing 엔드포인트 액세스만 제한합니다. 스토리지 URL은 모든 클라이언트 IP에서 연결할 수 있습니다.
설정 지침은 IP 액세스 목록(Databricks-to-Open 공유)을 사용하여 OpenSharing 받는 사람 액세스 제한(Databricks-to-Open 공유)을 참조하세요.
Note
SecureConnect 사용 오픈 받는 사람에 대한 IP ACL 변경 내용을 적용하는 데 최대 10분이 걸릴 수 있습니다.
지원되는 공유 시나리오
Important
지원되지 않는 모든 기능은 받는 사람 컴퓨팅에서 스토리지로의 직접 액세스로 돌아갑니다. 공급자는 스토리지 방화벽에서 받는 사람 IP에 대한 액세스 권한을 수동으로 부여해야 합니다. OpenSharing Databricks-to-Databricks 프로토콜이란 무엇인가요? 또는 OpenSharing Databricks-to-Open sharing 프로토콜이란 무엇인가요?를 참조하세요.
SecureConnect는 AWS, Azure 및 GCP에 대한 공유를 지원합니다.
SecureConnect에 대한 mTLS는 서버리스 수신 클러스터에만 지원됩니다.
기능 지원
| 특징 | D2O(토큰) | D2O(OIDC)* | D2O(빙산) | D2D(서버리스) | D2D(클래식) |
|---|---|---|---|---|---|
| 이력이 있으며 파티션이 없는 테이블 | ✓ | ✓ | ✗ | ✓ ** | ✓** |
| 기록이 없거나 파티션이 있는 테이블 | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✗ | ✓ |
| 외세 테이블 | ✓ | ✓ | ✗ | ✓ | ✓ |
| 머터리얼라이즈드 뷰 | ✓ | ✓ | ✗ | ✗ | ✓ |
| 스트리밍 테이블 | ✓ | ✓ | ✗ | ✗ | ✓ |
| Volumes | ✗ | ✗ | ✗ | ✗ | ✗ |
| Notebooks | ✗ | ✗ | ✗ | ✗ | ✗ |
| AI 모델 | ✗ | ✗ | ✗ | ✗ | ✗ |
* 받는 사람이 Azure Databricks 있는 경우 현재 OIDC 공유가 작동하지 않습니다.
** SecureConnect에는 클라우드 토큰 최적화를 사용할 수 없습니다.
제한점
- Cloudflare R2 스토리지에서 자산을 백업할 수 없습니다.
mTLS 지원 및 Databricks-to-Open 공유 제한과 같은 받는 사람 쪽 제한 사항은 제한 사항을 참조하세요.
지원되지 않는 지역
SecureConnect는 Azure 중국, Azure Government 또는 다음 Azure 지역에서 사용할 수 없습니다.
australiacentralaustraliacentral2australiasoutheastcanadaeastfrancecentraljapanwestkoreacentralmexicocentralnorthcentralusnorwayeastqatarcentralsouthafricanorthsouthindiaswitzerlandwestuaenorthukwestwestcentraluswestindiawestus3
결제
Azure Databricks 현재 SecureConnect 데이터 전송에 대한 요금이 부과되지 않습니다. 자세한 내용은 OpenSharing SecureConnect에 대한 예정된 Azure 청구 변경 내용을 참조하세요.