Important
기존 스키마에 대한 자동 업그레이드는 공개 미리 보기로 제공됩니다. 등록하려면 계정 ID를 사용하여 이 양식을 작성합니다. 등록 후에는 코드 변경 또는 추가 구성이 필요하지 않습니다.
새 스키마에 대한 자동 업그레이드는 일반적으로 사용할 수 있습니다.
Unity 카탈로그 관리 테이블의 경우 Databricks는 코드 변경 또는 수동 ALTER TABLE 명령문 없이 일반 공급 권장 기능을 사용하도록 자동으로 업그레이드합니다. 또한 자동 업그레이드는 새 기능을 켜기 전에 클라이언트가 호환되는지 확인합니다.
자동 업그레이드는 다음과 같은 이점을 제공합니다.
- 작업 영역의 각 테이블 및 기능 조합에 대한 개별 호환성 요구 사항의 유효성을 검사하는 데 필요한 관리 작업을 줄입니다. 이 기능은 수천 개의 테이블이 있는 카탈로그가 있는 경우에 특히 유용합니다.
- 관리되는 테이블에서 최신 성능 및 안정성 향상을 자동으로 얻습니다.
- 테이블을 안전하게 업그레이드합니다. 자동 업그레이드는 워크로드 호환성을 확인한 후에만 기능을 켭니다.
자동 업그레이드 작동 방식
자동 업그레이드는 테이블 및 스키마 수준 모두에서 Unity 카탈로그 액세스 패턴을 모니터링하고 관찰 창을 사용하여 액세스 패턴이 호환되는지 확인한 후 기능을 켭니다. 관찰 기간은 공개 미리 보기 기능의 경우 50일, 일반 공급 기능의 경우 100일입니다.
자동 업그레이드는 서버리스 컴퓨팅을 사용하여 백그라운드에서 테이블을 업그레이드합니다.
스키마 및 테이블
자동 업그레이드 동작은 자동 업그레이드를 켜기 전에 스키마와 테이블이 존재했는지 여부에 따라 달라집니다. 다음 표에서는 자세한 내용을 제공합니다.
| Schema | Table | Behavior |
|---|---|---|
| New | New | 자동 업그레이드는 생성 시 스키마 수준 기본값을 설정하므로 테이블은 관찰 기간 없이 지원되는 모든 기능을 즉시 상속합니다. |
| 기존의 | New | 자동 업그레이드는 관찰 기간 동안 검증된 워크로드만 해당 테이블에 액세스한 경우에만 기능을 활성화합니다. 그렇지 않으면 확인되지 않은 단일 워크로드가 테이블에 액세스한 경우 자동 업그레이드는 테이블을 무시합니다. 확인된 워크로드를 참조하세요. |
| 기존의 | 기존의 | 자동 업그레이드는 다음이 모두 true인 경우 기능을 켭니다.
|
확인된 워크로드
워크로드는 Databricks 런타임 버전이 기능의 최소 필수 버전 이상인 Databricks 클러스터에서 테이블에 액세스한 경우 특정 기능에 대해 확인된 것으로 간주됩니다.
자동 업그레이드는 확인되지 않은 다음 워크로드를 고려합니다.
- 외부 클라이언트 및 Flink 또는 Presto와 같은 타사 서비스 Unity 카탈로그 통합을 참조하세요.
- Azure Databricks 서비스는 Zerobus와 같이 표준 Databricks 런타임 액세스 패턴을 우회하여 직접 또는 커널 수준 테이블 액세스를 제공합니다. Zerobus 수집 커넥터 개요를 참조하세요.
스키마 내 어떤 테이블이 관찰 기간 동안 해당 기능에 필요한 최소 버전보다 낮은 Databricks Runtime 버전이나 외부 클라이언트에 의해 액세스된 경우, 자동 업그레이드는 해당 스키마의 어떤 테이블에서도 해당 기능을 활성화하지 않습니다.
지원되는 기능
자동 업그레이드를 사용하면 정식 출시된 기능이 자동으로 켜집니다. 그러나 미리 보기에 등록하지 않는 한 업그레이드는 공개 미리 보기에서 기능을 켜지 않습니다.
자동 업그레이드는 다음 기능을 지원합니다.
| 특징 | 용도 | 릴리스 상태 | 호환 가능한 최소 Databricks 런타임 버전 |
|---|---|---|---|
| 자동 변경 데이터 피드 | 수동 구성 없이 Delta Lake 및 관리형 Apache Iceberg 테이블에 대한 행 수준 변경 데이터를 생성합니다. 행 추적이 켜져 있는 모든 테이블에서 사용할 수 있습니다. AUTO CDC API: 파이프라인을 사용하여 변경 데이터 캡처 간소화를 참조하세요. | 모든 스키마의 모든 테이블에 대한 공개 미리 보기입니다. | 18 |
| 자동 액체 클러스터링 | 자주 쿼리되는 열을 기반으로 테이블 데이터를 자동으로 구성하여 수동 분할 없이 쿼리 성능을 향상시킵니다. | 일반적으로 새 스키마의 새 테이블에 사용할 수 있습니다. 기존 스키마의 새 테이블에 대한 공개 미리 보기입니다. 이 기능에 대한 자동 업그레이드는 기존 테이블을 무시합니다. | 13.3 LTS |
| 카탈로그 커밋 | Unity 카탈로그에서 커밋을 중앙 집중화하여 다중 테이블 트랜잭션을 허용하고, 외부 쓰기에 대한 상호 운용성을 개선하며, 엔진 간에 거버넌스 정책을 허용합니다. | 모든 스키마의 모든 테이블에 대한 공개 미리 보기입니다. | 16.4 LTS |
| 검사점 V2 | Delta Lake가 더 많은 동시 쓰기 작업을 지원하고 크거나 자주 업데이트되는 테이블에서 발생하는 쓰기 충돌을 줄일 수 있도록 합니다. | 일반적으로 새 스키마의 새 테이블에 사용할 수 있습니다. 기존 스키마의 모든 테이블에 대한 공개 미리 보기입니다. | 13.3 LTS |
| 열 매핑 | 데이터를 다시 작성하지 않고 열 이름을 바꾸고 삭제할 수 있습니다. | 모든 스키마의 모든 테이블에 대한 공개 미리 보기입니다. | 15.4 LTS |
| 행 추적 | 증분 처리를 위해 숨겨진 행 ID를 유지 관리합니다. 행 추적을 사용하도록 설정하면 자동 변경 데이터 피드를 자동으로 사용할 수 있습니다. | 일반적으로 새 스키마의 새 테이블에 사용할 수 있습니다. 기존 스키마의 모든 테이블에 대한 공개 미리 보기입니다. | 14.3 LTS |
기능 가용성은 지역에 따라 다를 수 있습니다.
Requirements
- 서버리스 컴퓨팅은 해당 지역에서 사용할 수 있어야 합니다.
- 테이블은 Delta Lake 또는 Apache Iceberg 형식의 Unity 카탈로그 관리 테이블이어야 합니다.
활성화된 기능 관찰하기
자동 업그레이드가 테이블에서 기능을 활성화했는지 확인하려면 카탈로그 탐색기의 SET TBLPROPERTIES 탭에서 작업을 찾거나 DESCRIBE HISTORY <table_name>를 사용하세요. 자동 업그레이드가 작업을 수행한 경우 사용자 이름 필드에 사용자 이름 대신 해시 값(예: 4d137f29-62)이 표시됩니다.
카탈로그 탐색기란? 및 테이블 기록 보기
자동 업그레이드가 새 스키마의 테이블에서 기능을 켜면 카탈로그 탐색기의 속성 탭에서 스키마 기본값을 확인합니다. 예를 들어 행 추적이 켜져 있는 스키마에는 다음과 같은 catalog.schema.enableRowTracking: "true"속성이 표시됩니다. 기존 스키마에는 자동 업그레이드 관찰 속성이 없습니다.
권장 기능 관리
관리자는 다양한 컨트롤을 사용하여 업그레이드의 동작 및 작업을 관리할 수 있습니다.
변경 내용 되돌리기
기능을 켜기 전에 테이블의 데이터 및 메타데이터를 버전으로 되돌리는 데 사용합니다 RESTORE .
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
테이블 기록 및 복원에 대한 자세한 내용은 테이블을 이전 상태로 복원을 참조하세요.
테이블에 대한 기능 끄기
개별 테이블에서 기능을 해제하려면 다음을 수행합니다.
ALTER TABLE <table_name> DROP FEATURE <feature_name>
자동 업그레이드는 수동으로 해제한 후에는 기능을 다시 켜지 않습니다.
Limitations
- Delta Lake Sharing에서 공유하는 테이블인 Databricks-to-Open 및 Databricks-to-Databricks는 자동 업그레이드에서 제외됩니다. OpenSharing이란?을 참조하세요.
- 자동 업그레이드에는 계정의 모든 테이블에서 기능을 해제하는 일괄 처리 롤백 메커니즘이 없습니다. 자동 업그레이드 권장 기능 관리를 참조하세요.
- 구체화된 뷰 및 스트리밍 테이블은 지원되지 않습니다.
- Unity 카탈로그를 우회하고 경로를 통해 테이블에 직접 액세스하는 워크로드는 자동 업그레이드에 의해 추적되지 않습니다. 워크로드에서 경로 기반 액세스를 사용하는 경우 계정 팀에 문의하여 호환성에 대해 논의합니다.