Riferimento alle tabelle dei sistemi di calcolo

Questo articolo fornisce una guida di riferimento per le tabelle di sistema di calcolo. È possibile usare queste tabelle per monitorare l'attività e le metriche del calcolo classico di tutti gli scopi, del calcolo dei processi e delle pipeline dichiarative di Lakeflow Spark nell'account. Queste tabelle di calcolo classiche includono:

• clusters: registra le configurazioni di calcolo nell'account.
• node_types: include un singolo record per ognuno dei tipi di nodo attualmente disponibili, incluse le informazioni sull'hardware.
• node_timeline: include registrazioni minuto per minuto delle metriche di utilizzo della tua computazione.
• instance_events: acquisisce le transizioni di stato delle istanze di calcolo classiche.
• instance_pools: registra le configurazioni del pool di istanze nell'account.

Schema della tabella del cluster

La tabella del cluster è una tabella delle dimensioni a modifica lenta che contiene la cronologia completa delle configurazioni di calcolo nel corso del tempo per il calcolo generico, il calcolo dei lavori, il calcolo delle pipeline dichiarative Spark di Lakeflow e il calcolo della manutenzione delle pipeline.

percorso tabella: questa tabella di sistema si trova in system.compute.clusters

Informazioni di riferimento sulla modalità di accesso

La tabella seguente converte i valori possibili contenuti nella data_security_mode colonna . La colonna può essere null anche per determinate pipeline e cluster creati dal sistema.

Le modalità di accesso legacy vengono registrate con i valori seguenti:

schema di tabella dei tipi di nodo

La tabella dei tipi di nodo acquisisce i tipi di nodo attualmente disponibili con le relative informazioni hardware di base.

percorso tabella: questa tabella di sistema si trova in system.compute.node_types.

schema della tabella di cronologia del nodo

La tabella della sequenza temporale del nodo acquisisce i dati di utilizzo delle risorse a livello di nodo con granularità al minuto. Ogni record contiene dati per un determinato minuto di tempo per ogni istanza. Questa tabella acquisisce le linee temporali dei nodi per il calcolo multiuso, il calcolo dei processi, le pipeline dichiarative di Lakeflow Spark e le risorse di calcolo per la manutenzione delle pipeline nel tuo account.

percorso tabella: questa tabella di sistema si trova in system.compute.node_timeline.

Schema della tabella degli eventi dell'istanza

La tabella degli eventi dell'istanza acquisisce le transizioni di stato delle istanze di calcolo classiche. Ogni riga rappresenta una modifica dello stato per una singola istanza. Questa tabella include i record per il calcolo, il calcolo dei processi e le pipeline dichiarative di Lakeflow Spark da tutte le aree di lavoro nell'account distribuito nella stessa area cloud.

percorso tabella: questa tabella di sistema si trova in system.compute.instance_events.

Stati dell'istanza

• INSTANCE_LAUNCHING: l'istanza viene inizializzata.
• INSTANCE_READY: l'istanza è completamente inizializzata e pronta per essere usata, ma non attualmente in uso.
• INSTANCE_PLACED: l'istanza è attualmente in uso (aggiunta a un cluster).
• INSTANCE_TERMINATED: l'istanza viene terminata.

Quando viene popolato cluster_id?

Il cluster_id campo viene popolato solo quando l'istanza INSTANCE_PLACED è nello stato . Per tutti gli altri stati (INSTANCE_LAUNCHING, INSTANCE_READY, INSTANCE_TERMINATED), cluster_id è null. Questo comportamento è coerente sia per le istanze in pool che per le istanze non in pool.

La instance_events tabella include solo eventi di posizionamento per il calcolo di pipeline dichiarative di Lakeflow spark per tutti gli scopi. Gli eventi di posizionamento per altri carichi di lavoro, ad esempio sql warehouse, non sono inclusi in questa tabella.

Schema della tabella dei pool di istanze

La tabella dei pool di istanze è una tabella delle dimensioni a modifica lenta che contiene la cronologia completa delle configurazioni del pool di istanze nel tempo. Quando viene modificata una configurazione, viene generata una nuova riga, sostituendo logicamente quella precedente.

percorso tabella: questa tabella di sistema si trova in system.compute.instance_pools.

Limitazioni note

• Le risorse di calcolo contrassegnate come eliminate prima del 23 ottobre 2023 non vengono visualizzate nella tabella cluster. Ciò potrebbe comportare join dalla tabella system.billing.usage non corrispondenti ai record nella tabella dei cluster. Tutte le risorse di calcolo attive sono state riempite.
• Queste tabelle includono solo i record per il calcolo generico e le attività. Non contengono archivi per il calcolo serverless o gli archivi dati SQL.
• I nodi eseguiti per meno di 10 minuti potrebbero non essere visualizzati nella tabella node_timeline.

Esempi di query

È possibile usare le query di esempio seguenti per rispondere a domande comuni:

• Unire i record del cluster ai record di fatturazione più recenti
• Identificare le risorse di calcolo con l'utilizzo medio più elevato e il picco di utilizzo
• Ottenere la versione più recente di ogni pool di istanze
• Calcolare l'inattività dell'istanza e il tempo attivo

Unire i record del cluster con i record di fatturazione più recenti

Questa query consente di comprendere le spese nel tempo. Dopo aver aggiornato il usage_start_time al periodo di fatturazione più recente, vengono acquisiti gli aggiornamenti più recenti ai record di fatturazione per l'aggiunta ai dati dei cluster.

Ogni record è associato al proprietario del cluster durante l'esecuzione specifica. Pertanto, se il proprietario del cluster cambia, i costi verranno attribuiti al proprietario corretto in base al momento dell'uso del cluster.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Identificare le risorse di calcolo con l'utilizzo medio più elevato e il picco di utilizzo

Identificare i calcoli all-purpose e jobs che hanno il maggiore utilizzo medio della CPU e il maggiore picco di utilizzo della CPU.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

Ottenere la versione più recente di ogni pool di istanze

La instance_pools tabella è di tipo SCD2, in cui invece di aggiornare i record esistenti, viene creato un nuovo record ogni volta che viene apportata una modifica. Per ottenere la versione più recente, prendere la voce con il più grande change_time.

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

Calcolare l'inattività dell'istanza e il tempo attivo

Questa query calcola il tempo di inattività totale e il tempo attivo per ogni istanza usando transizioni di stato dalla instance_events tabella.

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;