Unity 카탈로그 설정 가이드

이 페이지에서는 다음을 포함하여 새 Azure Databricks 작업 영역의 작업 영역 관리자를 위한 초기 Unity 카탈로그 설정에 대해 설명합니다.

  • 작업 영역이 Unity 카탈로그에 대해 활성화되어 있는지 확인
  • 작업 영역 액세스 및 ID 관리
  • Unity 카탈로그 규격 컴퓨팅 리소스 만들기
  • 데이터에 대한 카탈로그 및 스키마 만들기
  • 사용자에게 필요한 권한 부여

시작하기 전 주의 사항:

시작하기 전에 다음 Unity 카탈로그 개념을 숙지하세요.

  • Metastore: 단일 클라우드 지역으로 범위가 지정된 최상위 Unity 카탈로그 컨테이너입니다. 카탈로그, 스토리지 자격 증명, 외부 위치 등 모든 보안 개체를 보유합니다. 메타스토어를 참조하세요.
  • 카탈로그: 메타스토어 내에서 가장 높은 수준의 데이터 컨테이너 개체입니다. 카탈로그에는 테이블, 뷰, 볼륨 및 함수가 포함된 스키마가 있습니다. 카탈로그를 참조 하세요.
  • 관리자 역할: Unity Catalog에는 각각 다른 범위와 책임을 가진 세 가지 주요 관리자 역할, 계정 관리자, 작업 영역 관리자 및 metastore 관리자가 있습니다. Unity 카탈로그관리자 권한을 참조하세요.

또한 다음이 필요합니다.

1단계: Unity 카탈로그에 작업 영역이 사용하도록 설정되어 있는지 확인

다음 방법 중 하나를 사용하여 작업 영역이 Unity 카탈로그 메타스토어에 연결되어 있는지 확인합니다.

계정 콘솔 사용

이 메서드에는 계정 관리자 권한이 필요합니다.

  1. Azure Databricks 계정 관리자로 계정 콘솔에 로그인합니다.
  2. 작업 영역 아이콘을 클릭합니다. 작업 영역.
  3. 작업 영역을 찾고 Metastore 열을 확인합니다. 메타스토어 이름이 있으면 워크스페이스에서 Unity Catalog를 사용하도록 설정된 상태입니다.

SQL 쿼리 실행

이 메서드에는 관리자 권한이 필요하지 않지만 Unity 카탈로그 규격 컴퓨팅 리소스가 필요합니다. 3단계: Unity Catalog 규격을 준수하는 컴퓨팅 생성에서는 UC 규격을 준수하는 컴퓨팅 리소스를 생성하는 과정을 안내합니다.

SQL 쿼리 편집기 또는 컴퓨팅 리소스에 연결된 Notebook에서 다음 명령을 실행합니다.

SELECT CURRENT_METASTORE();

쿼리가 메타스토어 ID를 반환하면 작업 영역이 Unity 카탈로그에 대해 사용하도록 설정됩니다.

현재 메타스토어 출력

Unity 카탈로그에 대해 작업 영역을 사용하도록 설정하지 않은 경우 Azure Databricks 작업 영역을 Unity 카탈로그로 업그레이드 참조하세요.

2단계: 작업 영역 액세스 및 ID 관리

작업 영역 관리자는 사용자 및 그룹을 추가하고, 관리자 역할을 할당하고, 서비스 주체를 관리할 수 있습니다.

사용자 추가

이 작업 영역에 액세스해야 하는 개별 사용자를 추가합니다. 자세한 내용은 사용자 관리를 참조하세요.

사용자를 그룹으로 구성

Databricks는 개별 사용자가 아닌 그룹을 통해 액세스를 관리하는 것이 좋습니다. 그룹에 권한을 부여하면 모든 구성원에게 권한이 적용되어 팀이 커짐에 따라 관리 오버헤드가 줄어듭니다.

  • 조직에 ID 공급자(IdP)에 이미 그룹이 있는 경우: 그룹 멤버 자격이 자동으로 동기화되도록 자동 ID 관리 또는 SCIM 프로비저닝을 사용하여 Azure Databricks 동기화합니다. 자동 ID 관리를 참조하세요.
  • 아직 그룹이 없는 경우: 워크스페이스 관리자로서 설정>ID 및 액세스>관리(그룹 옆)로 이동하여 계정 수준 그룹을 만드세요. 그룹 관리를 참조하세요.

관리자 역할 할당

작업 영역 관리자는 사용자 추가 및 제거, 컴퓨팅 관리, 작업 영역 설정 구성, 데이터에 대한 액세스 권한 부여 등 대부분의 일상적인 관리 작업을 수행할 수 있습니다. 이 역할은 작업 영역 유지 관리를 담당하는 중앙 데이터 플랫폼 또는 IT 팀의 구성원에게 적합합니다. 이 역할을 받는 사람에 대해 선택적이어야 합니다. 작업 영역 관리자는 작업 영역 리소스 및 설정에 광범위하게 액세스할 수 있습니다.

일반적으로 작업 영역 관리자 역할은 할당해야 하는 유일한 관리자 역할입니다. 필요에 따라 특별한 사용 사례 에 대해 metastore 관리자를 할당할 수 있습니다. 예를 들어 다음을 수행해야 하는 경우 전용 데이터 거버넌스 팀 또는 소규모 수석 플랫폼 엔지니어 그룹에 이 역할을 할당할 수 있습니다.

  • 비 작업 영역 관리자에게 카탈로그 만들기를 위임합니다.
  • init 스크립트 및 JAR 허용 목록을 관리합니다.
  • 델타 공유를 통해 공유 데이터 받기.
  • 팀 구성원이 떠날 때 개체 소유권을 이전합니다.

이러한 역할 할당에 대한 지침은 Unity 카탈로그의 관리자 권한을 참조하세요.

3단계: Unity 카탈로그 규격 컴퓨팅 만들기

Unity 카탈로그 워크로드를 실행하려면 컴퓨팅 리소스가 Unity 카탈로그 보안 요구 사항을 충족해야 합니다. 다음 표에서는 호환되는 컴퓨팅 형식을 보여줍니다.

컴퓨팅 유형 UC 준수
SQL 웨어하우스 Yes
서버리스 컴퓨팅 (노트북, 작업, 파이프라인) Yes
클러스터 - 단일 사용자 액세스 모드 Yes
클러스터 - 공유 액세스 모드 Yes
클러스터 - 격리 공유 액세스 모드 없음 No

UC 규격 컴퓨팅을 만들려면 다음을 수행합니다.

작업 영역 관리자는 클러스터 만들기를 관리자로만 제한하거나 클러스터 정책을 사용하여 사용자가 고유한 Unity 카탈로그 규격 클러스터를 만들 수 있도록 할 수 있습니다. 컴퓨팅 권한 및 컴퓨팅 정책 만들기 및 관리를 참조하세요.

4단계: 카탈로그 및 스키마 만들기

카탈로그는 Unity 카탈로그에서 데이터 격리의 기본 단위입니다. 모든 스키마, 테이블, 볼륨, 뷰 및 함수는 카탈로그에 있습니다.

새 카탈로그를 만드는 경우

새 작업 영역은 작업 영역 카탈로그를 사용하여 자동으로 프로비전됩니다. 기본적으로 이 카탈로그의 이름은 작업 영역의 이름을 따서 지정됩니다. 작업 영역 카탈로그가 있는지 확인하려면 데이터 아이콘을 클릭합니다.사이드바에서 카탈로그를 만들고 작업 영역 이름과 일치하는 카탈로그를 찾습니다. 존재하는 경우 즉시 추가 카탈로그를 만들 필요가 없을 수 있습니다.

시간이 지남에 따라 다음과 같은 논리적 경계를 중심으로 구성된 사용량이 증가함에 따라 새 카탈로그를 만드는 것이 좋습니다.

  • 팀 또는 사업부: 엔지니어링, 재무 및 마케팅을 위한 별도의 카탈로그
  • 환경: 개발을 프로덕션 데이터로부터 격리하기 위해 dev, staging, prod 카탈로그를 분리합니다
  • 프로젝트: 주요 데이터 제품 또는 이니셔티브당 전용 카탈로그

조직의 데이터 경계가 이미 잘 정의된 경우 지금 카탈로그를 만들 수 있습니다.

카탈로그 생성

카탈로그를 만들려면 다음 SQL을 실행합니다.

CREATE CATALOG IF NOT EXISTS <catalog-name>;

Note

이 카탈로그의 관리되는 데이터는 메타스토어의 기본 관리 스토리지 위치에 저장됩니다. 다른 위치를 사용하려면 .를 지정합니다 MANAGED LOCATION. Unity 카탈로그를 사용하여 클라우드 개체 스토리지에 연결을 참조하세요.

그런 다음, 스키마를 만들어 테이블 및 기타 데이터 개체를 구성합니다.

CREATE SCHEMA IF NOT EXISTS <catalog-name>.<schema-name>;

자세한 지침 및 카탈로그 탐색기를 사용하는 방법은 카탈로그 만들기 및 스키마 만들기를 참조하세요.

5단계: 사용자에게 권한 부여

Unity 카탈로그에서 사용자는 기본적으로 데이터에 액세스할 수 없습니다. 작업 영역 관리자는 작업 영역 전체의 보안 개체에 권한을 부여할 수 있습니다. Databricks는 개별 사용자가 아닌 그룹에 권한을 부여하는 것이 좋습니다. 이렇게 하면 팀이 성장함에 따라 액세스를 더 쉽게 관리할 수 있습니다.

데이터 탐색 활성화

Azure Databricks 모든 카탈로그에 대한 BROWSE 권한을 All account users 그룹에 부여하는 것이 좋습니다. BROWSE 를 사용하면 사용자가 기본 데이터에 대한 액세스 권한을 부여하지 않고도 개체가 존재하는 것을 확인하고 카탈로그 탐색기에서 해당 메타데이터를 볼 수 있습니다. 이렇게 하면 사용자가 관리자에게 선제적으로 권한을 부여할 필요 없이 데이터를 검색하고 액세스를 요청할 수 있습니다.

GRANT BROWSE ON CATALOG <catalog-name> TO `account users`;

데이터 액세스 권한 부여

Unity 카탈로그의 데이터에 액세스하려면 일반적으로 작업에 대한 특정 권한(예: SELECT 테이블 읽기)과 적절한 사용 권한 (예: USE CATALOG 부모 카탈로그 및 USE SCHEMA 부모 스키마)이 필요합니다. Unity 카탈로그 사용 권한 모델 개념을 참조하세요.

특정 카탈로그 및 스키마에 액세스해야 하는 사용자 및 그룹에만 이러한 권한을 부여합니다. 예를 들어 스키마에 대한 읽기 전용 액세스 권한을 부여하려면 다음 SQL을 사용합니다.

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

읽기-쓰기 액세스의 경우:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT, MODIFY ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

액세스 패턴은 시간이 지남에 따라 변경됩니다. Unity 카탈로그에서 권한을 관리할 때 다음 페이지를 참조로 사용합니다.

설치 검사 목록

5단계를 모두 완료한 경우 Unity 카탈로그가 작업 영역에서 설정되고 사용자가 데이터 작업을 시작할 수 있습니다. 다음 검사 목록을 사용하여 모든 항목이 준비되어 있는지 확인합니다.

다음 단계

Unity 카탈로그를 설정하면 작업 영역에 고급 거버넌스 기능을 적용할 수 있습니다.

특성 기반 액세스 제어

ABAC(특성 기반 액세스 제어) 를 사용하면 데이터의 특성과 데이터에 액세스하는 사용자에 따라 동적 세분화된 액세스 정책을 정의할 수 있습니다. 테이블별로 사용 권한 테이블을 관리하는 대신 행 수준 필터링 및 열 수준 마스킹을 자동으로 적용하는 정책을 작성합니다. 예를 들어 특정 지역 외부의 사용자로부터 중요한 열을 숨기거나 권한이 없는 역할에 대해 PII를 마스크할 수 있습니다.

ABAC 열 마스킹 작동 예시

데이터 분류

데이터 분류 는 AI 에이전트를 사용하여 카탈로그를 자동으로 검사하고 PII, 재무 정보 및 자격 증명과 같은 중요한 데이터에 태그를 지정합니다. 분류 후 태그는 ABAC 정책과 직접 통합될 수 있으므로 개체별로 액세스 개체를 관리하지 않고 데이터에 실제로 포함된 내용에 따라 거버넌스 컨트롤을 적용할 수 있습니다.

데이터 분류 결과

데이터 품질 모니터링

데이터 품질 모니터링 은 스키마의 모든 테이블과 테이블 수준의 데이터 프로파일링에서 변칙 검색을 제공합니다. 이상 탐지는 과거 데이터 패턴을 사용하여 데이터 최신성과 완전성을 자동으로 모니터링하고, 수동 구성 없이 문제를 드러냅니다. 데이터 프로파일링은 시간에 따른 통계 분포를 캡처하여 데이터 무결성을 추적하고 예기치 않은 변경에 대한 경고를 설정할 수 있습니다.

데이터 품질 모니터링 대시보드

Unity AI 게이트웨이를 사용한 AI 거버넌스

Unity AI 게이트웨이 는 Unity 카탈로그 거버넌스를 AI로 확장합니다. LLM 엔드포인트, 에이전트 및 MCP 서버에 대한 엔터프라이즈 거버넌스를 제공하여 통합 UI의 모든 AI 상호 작용에서 액세스 제어, 감사 로깅 및 관찰 가능성을 구현할 수 있습니다.

  • Last updated on