Lakebase 자동 크기 조정 시작

중요합니다

Lakebase 자동 크기 조정은 자동 크기 조정 컴퓨팅, 0으로 크기 조정, 분기 및 즉시 복원이 포함된 최신 버전의 Lakebase입니다. 지원되는 지역은 지역 가용성을 참조하세요. Lakebase 프로비전된 사용자인 경우 Lakebase Provisioned를 참조하세요.

이 가이드의 끝부분에서는 샘플 데이터가 포함된 실행 중인 Postgres 데이터베이스를 Unity 카탈로그에 연결하고, 레이크베이스와 Databricks 레이크하우스 간에 데이터가 흐르게 됩니다.

단계: (1) 프로젝트 → 만들기 (2) 연결 → (3) 테이블 만들기 → (4) Unity 카탈로그 → 등록 (5) 데이터 제공

1단계: 첫 번째 프로젝트 만들기

앱 전환기에서 Lakebase 앱을 엽니다.

앱 전환기

자동 크기 조정을 선택하여 Lakebase 자동 크기 조정 UI에 액세스합니다.

새 프로젝트를 클릭합니다. 프로젝트에 이름을 지정하고 Postgres 버전을 선택합니다. 프로젝트는 단일 production 분기, 기본 databricks_postgres 데이터베이스 및 분기에 대해 구성된 컴퓨팅 리소스를 사용하여 만들어집니다.

프로젝트 만들기 대화 상자

컴퓨팅이 활성화되는 데 몇 분 정도 걸릴 수 있습니다. 분기에 대한 production 컴퓨팅은 기본적으로 항상 설정되어 있지만(0으로 확장할 수 없음) 필요한 경우 이 설정을 구성할 수 있습니다.

프로젝트의 지역은 자동으로 작업 영역 지역으로 설정됩니다.

자세한 정보:프로젝트 만들기 | 자동 크기 조정 | 0으로 크기 조정

2단계: 데이터베이스에 연결

프로젝트에서 프로덕션 분기를 선택하고 연결을 클릭합니다. 연결 문자열은 모든 표준 Postgres 클라이언트(psql, pgAdmin, DBeaver 또는 애플리케이션 프레임워크)에서 작동합니다.

연결 대화 상자

Databricks ID와 연결하려면, 연결 대화 상자에서 psql 코드 조각을 복사하고, 메시지가 표시되면 OAuth 토큰을 붙여넣습니다.

psql 'postgresql://your-email@databricks.com@ep-abc-123.databricks.com/databricks_postgres?sslmode=require'

자세한 정보: 연결 빠른 시작 | psql | pgAdmin | Postgres 클라이언트

3단계: 첫 번째 테이블 만들기

Lakebase SQL 편집기에서는 샘플 SQL이 미리 로드됩니다. 프로젝트에서 프로덕션 분기를 선택하고 SQL 편집기를 열고 제공된 문을 실행하여 테이블을 만들고 playing_with_lakebase 샘플 데이터를 삽입합니다.

미리 로드된 샘플 SQL이 있는 SQL 편집기

자세한 정보: SQL 편집기 | 테이블 편집기 | Postgres 클라이언트

4단계: Unity 카탈로그에 등록

Lakebase 데이터베이스가 실행 중이지만 Unity 카탈로그에 등록할 때까지 나머지 Databricks 플랫폼에는 표시되지 않습니다. 등록되면 Databricks SQL에서 Lakebase 테이블을 쿼리하고, 운영 데이터를 Lakehouse 분석과 조인하고, 통합 거버넌스를 적용할 수 있습니다.

카탈로그 탐색기에서 Lakebase 자동 크기 조정을 형식으로 사용하여 프로젝트의 production 분기 및 databricks_postgres 데이터베이스를 가리키는 새 카탈로그를 만듭니다.

Unity 카탈로그에 LKB 데이터베이스 등록

이제 SQL 웨어하우스에서 쿼리할 수 있습니다.

SELECT * FROM lakebase_catalog.public.playing_with_lakebase;

자세한 정보: Unity 카탈로그에 등록

5단계: 앱에서 레이크하우스 데이터 제공

동기화된 테이블은 애플리케이션이 짧은 대기 시간 트랜잭션 읽기로 쿼리할 수 있도록 Unity 카탈로그의 분석 데이터를 Lakebase 데이터베이스로 가져옵니다. 샘플 Unity 카탈로그 테이블을 만든 다음, Lakebase에 동기화합니다.

SQL 웨어하우스 또는 Notebook에서 원본 테이블을 만듭니다.

CREATE TABLE main.default.user_segments AS
SELECT * FROM VALUES
  (1001, 'premium', 2500.00, 'high'),
  (1002, 'standard', 450.00, 'medium'),
  (1003, 'premium', 3200.00, 'high'),
  (1004, 'basic', 120.00, 'low')
AS segments(user_id, tier, lifetime_value, engagement);

이제 이 테이블을 Lakebase에 동기화합니다. 카탈로그 탐색기에서 user_segments 모드로 프로젝트의 databricks_postgres 데이터베이스를 대상으로 동기화된 테이블을 만듭니다. 스냅샷 모드는 데이터를 한 번 복사합니다. 연속 업데이트의 경우 트리거 또는 연속 모드를 사용합니다.

동기화가 완료되면 Lakebase에서 데이터를 다음과 같이 default.user_segments_synced사용할 수 있습니다. Lakebase SQL 편집기에서 쿼리합니다.

SELECT * FROM "default".user_segments_synced WHERE engagement = 'high';

메모

default 는 PostgreSQL 예약 키워드이므로 따옴표로 묶어야 합니다. 동기화된 테이블 스키마는 Unity 카탈로그 스키마 이름을 상속하므로 스키마 이름이 지정 default되면 항상 쿼리에서 인용해야 합니다. 다른 식별자에 대한 따옴표는 선택 사항입니다.

Lakebase SQL 편집기에서 동기화된 사용자 세그먼트 쿼리

이제 Lakehouse 분석이 트랜잭션 데이터베이스에서 처리할 준비가 되었습니다.

자세한 정보: 동기화된 테이블 | 동기화 모드 | 데이터 형식 매핑

다음 단계

  • Last updated on