컴퓨팅 시스템 테이블 참조

이 문서에서는 컴퓨팅 시스템 테이블에 대한 참조 가이드를 제공합니다. 이러한 테이블을 사용하여 계정에서 클래식 다목적 컴퓨팅, 작업 컴퓨팅 및 Lakeflow Spark 선언적 파이프라인 컴퓨팅의 활동 및 메트릭을 모니터링할 수 있습니다. 이러한 클래식 컴퓨팅 테이블에는 다음이 포함됩니다.

• clusters: 계정에 컴퓨팅 구성을 기록합니다.
• node_types: 하드웨어 정보를 포함하여 현재 사용 가능한 각 노드 유형에 대한 단일 레코드를 포함합니다.
• node_timeline: 컴퓨트 사용률 메트릭에 대한 분 단위 기록을 포함합니다.
• instance_events: 클래식 컴퓨팅 인스턴스의 상태 전환을 캡처합니다.
• instance_pools: 계정에 인스턴스 풀 구성을 기록합니다.

클러스터 테이블 스키마

클러스터 테이블은 다목적 컴퓨팅, 작업 컴퓨팅, Lakeflow Spark 선언적 파이프라인 컴퓨팅 및 파이프라인 유지 관리 컴퓨팅에 대한 시간 경과에 따른 컴퓨팅 구성의 전체 기록을 포함하는 느린 변경 차원 테이블입니다.

테이블 경로: 이 시스템 테이블은 system.compute.clusters

액세스 모드 참조

다음 표에서는 열에 포함된 가능한 값을 변환합니다 data_security_mode . 열은 특정 파이프라인 및 시스템이 생성한 클러스터에 대해 null일 수도 있습니다.

레거시 액세스 모드는 다음 값으로 기록됩니다.

노드 유형 테이블 스키마

노드 유형 테이블은 기본 하드웨어 정보를 사용하여 현재 사용 가능한 노드 형식을 캡처합니다.

테이블 경로: 이 시스템 테이블은 system.compute.node_types있습니다.

노드 타임라인 테이블 스키마

노드 타임라인 테이블은 분 단위로 노드 수준 리소스 사용률 데이터를 캡처합니다. 각 레코드에는 인스턴스당 지정된 시간 동안의 데이터가 포함됩니다. 이 표에서는 계정의 다목적 컴퓨팅, 작업 컴퓨팅, Lakeflow Spark 선언적 파이프라인 컴퓨팅 및 파이프라인 유지 관리 컴퓨팅 리소스에 대한 노드 타임라인을 캡처합니다.

테이블 경로: 이 시스템 테이블은 system.compute.node_timeline있습니다.

인스턴스 이벤트 테이블 스키마

인스턴스 이벤트 테이블은 클래식 컴퓨팅 인스턴스의 상태 전환을 캡처합니다. 각 행은 단일 인스턴스에 대한 상태 변경을 나타냅니다. 이 표에는 동일한 클라우드 지역 내에 배포된 계정의 모든 작업 영역에서 다목적 컴퓨팅, 작업 컴퓨팅 및 Lakeflow Spark 선언적 파이프라인 컴퓨팅에 대한 레코드가 포함되어 있습니다.

테이블 경로: 이 시스템 테이블은 system.compute.instance_events있습니다.

인스턴스 상태

• INSTANCE_LAUNCHING: 인스턴스가 초기화되고 있습니다.
• INSTANCE_READY: 인스턴스가 완전히 초기화되어 사용할 준비가 되었지만 현재는 사용되지 않습니다.
• INSTANCE_PLACED: 인스턴스가 현재 사용 중입니다(클러스터에 조인됨).
• INSTANCE_TERMINATED: 인스턴스가 종료됩니다.

cluster_id 채워지는 시기는 언제인가요?

인스턴스 cluster_id 가 상태에 있을 때만 필드가 INSTANCE_PLACED 채워집니다. 다른 모든 상태(INSTANCE_LAUNCHING, INSTANCE_READY, INSTANCE_TERMINATED) cluster_id 의 경우는 .입니다 null. 이 동작은 풀된 인스턴스와 풀되지 않은 인스턴스 모두에 대해 일치합니다.

테이블에는 instance_events 다목적, 작업 및 Lakeflow Spark 선언적 파이프라인 컴퓨팅에 대한 배치 이벤트만 포함됩니다. SQL 웨어하우스와 같은 다른 워크로드에 대한 배치 이벤트는 이 표에 포함되지 않습니다.

인스턴스 풀 테이블 스키마

인스턴스 풀 테이블은 시간이 지남에 따라 인스턴스 풀 구성의 전체 기록을 포함하는 느린 변경 차원 테이블입니다. 구성이 변경되면 새 행이 내보내집니다. 논리적으로 이전 행을 대체합니다.

테이블 경로: 이 시스템 테이블은 system.compute.instance_pools있습니다.

알려진 제한 사항

• 2023년 10월 23일 이전에 삭제된 것으로 표시된 컴퓨팅 리소스는 클러스터 테이블에 표시되지 않습니다. 이로 인해 system.billing.usage 테이블의 조인이 클러스터 테이블의 레코드와 일치하지 않을 수 있습니다. 모든 활성 컴퓨팅 리소스가 백필되었습니다.
• 이러한 테이블에는 다목적 및 작업 컴퓨팅에 대한 레코드만 포함됩니다. 서버리스 컴퓨팅 또는 SQL 웨어하우스에 대한 레코드는 포함되지 않습니다.
• 10분 미만 동안 실행된 노드는 node_timeline 테이블에 표시되지 않을 수 있습니다.

샘플 쿼리

다음 샘플 쿼리를 사용하여 일반적인 질문에 대답할 수 있습니다.

• 가장 최근의 청구 레코드를 사용하여 클러스터 레코드 조인
• 평균 사용률이 가장 높고 사용률이 가장 높은 컴퓨팅 리소스 식별
• 각 인스턴스 풀의 최신 버전 가져오기
• 인스턴스 유휴 및 활성 시간 계산

가장 최근 청구 레코드를 사용하여 클러스터 레코드 조인

이 쿼리는 시간 경과에 따른 지출을 이해하는 데 도움이 될 수 있습니다. usage_start_time 최신 청구 기간으로 업데이트하면 청구 레코드에 대한 최신 업데이트를 받아 클러스터 데이터에 조인합니다.

각 레코드는 해당 특정 실행 중에 클러스터 소유자와 연결됩니다. 따라서 클러스터 소유자가 변경되면 클러스터가 사용된 시기에 따라 비용이 올바른 소유자에게 롤업됩니다.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

평균 사용률이 가장 높고 사용률이 가장 높은 컴퓨팅 리소스 식별

평균 CPU 사용률이 가장 높고 최고 CPU 사용률이 가장 높은 다목적 및 작업 컴퓨팅을 식별합니다.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

각 인스턴스 풀의 최신 버전 가져오기

테이블은 instance_pools SCD2 형식으로, 기존 레코드를 업데이트하는 대신 변경할 때마다 새 레코드가 만들어집니다. 최신 버전을 얻으려면 가장 change_time큰 항목을 사용합니다.

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

인스턴스 유휴 및 활성 시간 계산

이 쿼리는 테이블에서 상태 전환을 사용하여 각 인스턴스의 총 유휴 시간 및 활성 시간을 계산합니다 instance_events .

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;