Referencia de tablas del sistema de proceso

En este artículo se proporciona una guía de referencia para las tablas del sistema de computación. Puede usar estas tablas para supervisar la actividad y las métricas del proceso clásico de uso completo, el proceso de trabajos y el proceso de canalizaciones declarativas de Spark de Lakeflow en la cuenta. Estas tablas de proceso clásicas incluyen:

• clusters: registra las configuraciones de proceso en su cuenta.
• node_types: incluye un único registro para cada uno de los tipos de nodo disponibles actualmente, incluida la información de hardware.
• node_timeline: incluye registros minuto a minuto de las métricas de uso de la computadora.
• instance_events: captura las transiciones de estado de las instancias de proceso clásicas.
• instance_pools: registra las configuraciones del grupo de instancias en la cuenta.

Esquema de la tabla de clústeres

La tabla de clúster es una tabla de dimensiones de variación lenta que contiene el historial completo de las configuraciones de computación a lo largo del tiempo para la computación de propósito general, la computación de trabajos, la computación de canalizaciones declarativas de Lakeflow Spark y la computación de mantenimiento de canalizaciones.

Ruta de acceso de tabla: esta tabla del sistema se encuentra en system.compute.clusters

Referencia del modo de acceso

En la tabla siguiente se traducen los valores posibles incluidos en la data_security_mode columna . La columna también puede ser null para determinadas canalizaciones y clústeres creados por el sistema.

Los modos de acceso heredados se registran con los siguientes valores:

Esquema de tabla de tipos de nodos

La tabla de tipos de nodos captura los tipos de nodos disponibles actualmente con su información básica de hardware.

Ruta de acceso de tabla: esta tabla del sistema se encuentra en system.compute.node_types.

Esquema de tabla de escala de tiempo de nodo

La tabla de escala de tiempo del nodo captura los datos de uso de recursos de nivel de nodo en granularidad de minuto. Cada registro contiene datos durante un minuto determinado de tiempo por instancia. En esta tabla se capturan los cronogramas de nodo para los recursos de cómputo de propósito general, los de cómputo de los trabajos, los de cómputo para Los procesos declarativos de Lakeflow Spark y los de cómputo para el mantenimiento de canalización en su cuenta.

Ruta de acceso de tabla: esta tabla del sistema se encuentra en system.compute.node_timeline.

Esquema de tabla de eventos de instancia

La tabla de eventos de instancia captura las transiciones de estado de las instancias de proceso clásicas. Cada fila representa un cambio de estado para una sola instancia. En esta tabla se incluyen registros para el proceso de todos los fines, el proceso de trabajos y el proceso de canalizaciones declarativas de Spark de Lakeflow desde todas las áreas de trabajo de la cuenta implementadas en la misma región de nube.

Ruta de acceso de tabla: esta tabla del sistema se encuentra en system.compute.instance_events.

Estados de instancia

• INSTANCE_LAUNCHING: la instancia se está inicializando.
• INSTANCE_READY: la instancia está completamente inicializada y lista para usarse, pero actualmente no está en uso.
• INSTANCE_PLACED: la instancia está actualmente en uso (unida a un clúster).
• INSTANCE_TERMINATED: la instancia de finaliza.

¿Cuándo se rellena cluster_id?

El cluster_id campo solo se rellena cuando la instancia está en estado INSTANCE_PLACED . Para todos los demás estados (INSTANCE_LAUNCHING, INSTANCE_READY, INSTANCE_TERMINATED), cluster_id es null. Este comportamiento es coherente para las instancias agrupadas y no agrupadas.

La instance_events tabla solo incluye eventos de selección de ubicación para todos los fines, trabajos y proceso de canalizaciones declarativas de Spark de Lakeflow. Los eventos de selección de ubicación para otras cargas de trabajo, como los almacenes de SQL, no se incluyen en esta tabla.

Esquema de tabla de grupos de instancias

La tabla de grupos de instancias es una tabla de dimensiones de variación lenta que contiene el historial completo de configuraciones del grupo de instancias a lo largo del tiempo. Cuando cambia una configuración, se emite una nueva fila, reemplazando lógicamente la anterior.

Ruta de acceso de tabla: esta tabla del sistema se encuentra en system.compute.instance_pools.

Restricciones conocidas

• Los recursos de proceso que se marcaron como eliminados antes del 23 de octubre de 2023 no aparecen en la tabla de clústeres. Esto puede dar lugar a combinaciones de la tabla system.billing.usage que no coincidan con los registros de la tabla de clústeres. Se han restaurado todos los recursos de cálculo activos.
• Estas tablas solo incluyen registros para el proceso de todos los fines y trabajos. No contienen registros para el proceso sin servidor ni para los almacenes de SQL.
• Es posible que los nodos que se ejecutan durante menos de 10 minutos no aparezcan en la tabla node_timeline.

Consultas de ejemplo

Puede usar las siguientes consultas de ejemplo para responder a preguntas comunes:

• Unión de registros de clústeres con los registros de facturación más recientes
• Identificación de los recursos de proceso con el uso medio más alto y el uso máximo
• Obtención de la versión más reciente de cada grupo de instancias
• Cálculo de la inactividad de la instancia y el tiempo activo

Unir los registros de clúster con los registros de facturación más recientes

Esta consulta puede ayudarle a comprender el gasto a lo largo del tiempo. Una vez que actualice usage_start_time al período de facturación más reciente, obtiene las actualizaciones más recientes de los registros de facturación para agrupar los datos en clústeres.

Cada registro está asociado al propietario del clúster durante esa ejecución concreta. Por lo tanto, si cambia el propietario del clúster, los costos se acumulan al propietario correcto en función de cuándo se usó el clúster.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Identificación de los recursos informáticos con el uso promedio más alto y el uso máximo.

Identifique las computaciones generales y de trabajos que tienen la mayor utilización media de CPU y la mayor utilización máxima de CPU.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

Obtención de la versión más reciente de cada grupo de instancias

La instance_pools tabla es de tipo SCD2, donde en lugar de actualizar los registros existentes, se crea un nuevo registro cada vez que se realiza un cambio. Para obtener la versión más reciente, tome la entrada con el mayor change_time.

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

Cálculo de la inactividad de la instancia y el tiempo activo

Esta consulta calcula el tiempo de inactividad total y el tiempo activo de cada instancia mediante transiciones de estado de la instance_events tabla.

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;