Referência de tabelas do sistema informático

Este artigo fornece um guia de referência para as tabelas do sistema de computação. Pode usar estas tabelas para monitorizar a atividade e as métricas dos cálculos clássicos de computação multiusos, cálculo de jobs e Lakeflow Spark Declarative Pipelines na sua conta. Estas tabelas de computação clássicas incluem:

• clusters: Regista as configurações de computação na sua conta.
• node_types: Inclui um único registro para cada um dos tipos de nó atualmente disponíveis, incluindo informações de hardware.
• node_timeline: Inclui registros minuto a minuto das métricas de utilização da computação.
• instance_events: Captura transições de estado de instâncias clássicas de computação.
• instance_pools: Regista configurações do pool de instâncias na sua conta.

Esquema da tabela de agrupamento

A tabela de cluster é uma tabela de dimensões de mudança lenta que contém o histórico completo de configurações de computação ao longo do tempo para computação para todos os fins, computação de trabalhos, computação de pipelines declarativos Lakeflow Spark e computação de manutenção de pipeline.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.clusters

Referência do modo de acesso

A tabela a seguir traduz os valores possíveis contidos na data_security_mode coluna. A coluna também pode ser null para determinados pipelines e clusters criados pelo sistema.

Os modos de acesso herdados são registrados com os seguintes valores:

Esquema da tabela de tipos de nó

A tabela de tipos de nó captura os tipos de nó atualmente disponíveis com suas informações básicas de hardware.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.node_types.

Esquema da tabela de cronologia do nó

A tabela de cronologia dos nós captura dados de utilização de recursos a nível de nó com precisão de minutos. Cada registro contém dados para um determinado minuto de tempo por instância. Esta tabela captura cronogramas de nós para recursos de computação de uso geral, computação de tarefas, computação de pipelines declarativos do Lakeflow Spark e recursos de computação para manutenção de pipelines na sua conta.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.node_timeline.

Esquema da tabela de eventos de instância

A tabela de eventos de instância capta transições de estado das instâncias clássicas de computação. Cada linha representa uma alteração de estado para uma única instância. Esta tabela inclui registos para computação multiusos, computação de jobs e Lakeflow Spark Declarative Pipelines computados a partir de todos os espaços de trabalho da sua conta implementados na mesma região cloud.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.instance_events.

Estados de instância

• INSTANCE_LAUNCHING: A instância está a ser inicializada.
• INSTANCE_READY: A instância está totalmente inicializada e pronta para ser usada, mas não está atualmente em uso.
• INSTANCE_PLACED: A instância está atualmente em uso (juntou-se a um cluster).
• INSTANCE_TERMINATED: A instância está terminada.

Quando é que cluster_id é povoado?

O cluster_id campo só é preenchido quando a instância está no INSTANCE_PLACED estado. Para todos os outros estados (INSTANCE_LAUNCHING, INSTANCE_READY, INSTANCE_TERMINATED), cluster_id é null. Este comportamento é consistente tanto para instâncias agrupadas como não agrupadas.

A instance_events tabela inclui apenas eventos de colocação para multiusos, empregos e computação de pipelines declarativos Lakeflow Spark. Eventos de colocação para outras cargas de trabalho, como armazéns SQL, não estão incluídos nesta tabela.

Esquema de tabelas de pools de instâncias

A tabela de pools de instâncias é uma tabela de dimensões que muda lentamente e contém o histórico completo das configurações do pool de instâncias ao longo do tempo. Quando uma configuração muda, é emitida uma nova linha, substituindo logicamente a anterior.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.instance_pools.

Limitações conhecidas

• Os recursos de computação marcados como excluídos antes de 23 de outubro de 2023 não aparecem na tabela de clusters. Isso pode resultar em junções da tabela system.billing.usage que não correspondem aos registros na tabela de clusters. Todos os recursos de computação ativos foram preenchidos.
• Estas tabelas incluem apenas registos para computação genérica e de tarefas. Não contêm registos para computação serverless ou armazéns de dados SQL.
• Os nós que correram por menos de 10 minutos podem não aparecer na tabela node_timeline.

Exemplos de consultas

Você pode usar as seguintes consultas de exemplo para responder a perguntas comuns:

• Combinar registos de cluster com os registos de faturação mais recentes
• Identificar os recursos de computação com maior utilização média e pico de utilização
• Obtenha a versão mais recente de cada pool de instâncias
• Calcular o tempo de inatividade e de atividade da instância

Combine os registos de cluster com os registos de faturação mais recentes

Esta consulta pode ajudá-lo a compreender os gastos ao longo do tempo. Depois de atualizar o usage_start_time para o período de faturamento mais atual, ele obtém as atualizações mais recentes dos registos de faturamento para integrar nos dados dos clusters.

Cada registro é associado ao proprietário do cluster durante essa execução específica. Portanto, se o proprietário do cluster mudar, os custos serão acumulados para o proprietário correto com base em quando o cluster foi usado.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Identificar os recursos de computação com maior utilização média e pico de utilização

Identifique a computação polivalente e de tarefas que tem a maior utilização média da CPU e a maior utilização da CPU de pico.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

Obtenha a versão mais recente de cada pool de instâncias

A instance_pools tabela é do tipo SCD2, onde, em vez de atualizar registos existentes, é criado um novo registo sempre que uma alteração é feita. Para obter a versão mais recente, pegue na entrada com a maior change_time.

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

Calcular o tempo de inatividade e de atividade da instância

Esta consulta calcula o tempo total de inatividade e o tempo ativo de cada instância usando transições de estado da instance_events tabela.

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;