Referenz zu Rechensystemtabellen

Dieser Artikel enthält ein Referenzhandbuch für die Computer-Systemtabellen. Sie können diese Tabellen verwenden, um die Aktivität und Metriken der klassischen All-Purpose Compute, Jobs Compute und Lakeflow Spark Declarative Pipelines in Ihrem Konto zu überwachen. Diese klassischen Computetabellen umfassen:

• clusters: zeichnet Computekonfigurationen in Ihrem Konto auf.
• node_types: enthält einen einzelnen Datensatz für jeden der derzeit verfügbaren Knotentypen, einschließlich Hardwareinformationen.
• node_timeline: Enthält Minutenprotokolle der Nutzungsmetriken Ihres Computers.
• instance_events: Erfasst Zustandsübergänge klassischer Computeinstanzen.
• instance_pools: Zeichnet Instanzpoolkonfigurationen in Ihrem Konto auf.

Clustertabellenschema

Die Clustertabelle ist eine sich langsam ändernde Dimensionstabelle, die den vollständigen Verlauf der Berechnungskonfigurationen im Laufe der Zeit für die universelle Berechnung, die Job-Berechnung, die Lakeflow Spark Declarative Pipelines-Berechnung und die Pipeline-Wartungsberechnung enthält.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.clusters

Zugriffsmodusreferenz

In der folgenden Tabelle werden die möglichen Werte in der data_security_mode Spalte übersetzt. Die Spalte kann auch für bestimmte Pipelines und vom System erstellte Cluster sein null .

Die älteren Zugriffsmodi werden mit den folgenden Werten aufgezeichnet:

Tabellenschema für Knotentypen

Die Knotentyp-Tabelle erfasst die derzeit verfügbaren Knotentypen mit ihren grundlegenden Hardwareinformationen.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.node_types.

Tabellenschema für Knotenzeitachsen

In der Knotenzeitleistentabelle wird der Ressourcenverbrauch auf Knotenebene mit einer Minutenauflösung erfasst. Jeder Datensatz enthält Daten für eine bestimmte Minute pro Instanz. In dieser Tabelle werden Zeitachsen der Knoten für die Allzweck-Berechnungs-, Auftrags-Berechnungs-, Lakeflow Spark Declarative Pipelines-Berechnungs- und Pipeline-Wartungs-Berechnungsressourcen in Ihrem Konto erfasst.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.node_timeline.

Instanzereignisse-Tabellenschema

Die Instanzereignissetabelle erfasst Zustandsübergänge von klassischen Computeinstanzen. Jede Zeile stellt eine Zustandsänderung für eine einzelne Instanz dar. Diese Tabelle enthält Datensätze für die berechnungs-, Auftragsberechnung und Lakeflow Spark Declarative Pipelines, die aus allen Arbeitsbereichen in Ihrem Konto berechnet werden, die in derselben Cloudregion bereitgestellt wurden.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.instance_events.

Instanzstatus

• INSTANCE_LAUNCHING: Die Instanz wird initialisiert.
• INSTANCE_READY: Die Instanz wird vollständig initialisiert und kann verwendet werden, wird aber derzeit nicht verwendet.
• INSTANCE_PLACED: Die Instanz wird derzeit verwendet (einem Cluster beigetreten).
• INSTANCE_TERMINATED: Die Instanz wird beendet.

Wann wird cluster_id aufgefüllt?

Das cluster_id Feld wird nur aufgefüllt, wenn sich die Instanz im INSTANCE_PLACED Zustand befindet. Für alle anderen Zustände (INSTANCE_LAUNCHING, INSTANCE_READY, INSTANCE_TERMINATED) cluster_id ist null. Dieses Verhalten ist für poolierte und nicht poolierte Instanzen konsistent.

Die instance_events Tabelle enthält nur Platzierungsereignisse für alle Zwecke, Aufträge und Lakeflow Spark Declarative Pipelines. Platzierungsereignisse für andere Workloads, z. B. SQL-Lagerhäuser, sind in dieser Tabelle nicht enthalten.

Instanzpooltabellenschema

Die Instanzpooltabelle ist eine langsam ändernde Dimensionstabelle, die den vollständigen Verlauf der Instanzpoolkonfigurationen im Laufe der Zeit enthält. Wenn sich eine Konfiguration ändert, wird eine neue Zeile ausgegeben, logisch wird die vorherige Zeile ersetzt.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.instance_pools.

Bekannte Einschränkungen

• Clusterressourcen, die vor dem 23. Oktober 2023 als gelöscht markiert wurden, sind nicht in der Clustertabelle enthalten. Dies kann dazu führen, dass Verknüpfungen aus der Tabelle system.billing.usage keinen Clusterdatensätzen in der Clustertabelle entsprechen. Alle aktiven Rechenressourcen wurden nachgefüllt.
• Diese Tabellen enthalten nur Datensätze für Allzweck- und jobbezogene Computingressourcen. Sie enthalten keine Datensätze für serverlose Compute- oder SQL-Lagerhäuser.
• Knoten, die weniger als 10 Minuten laufen, werden möglicherweise nicht in der Tabelle node_timeline angezeigt.

Beispielabfragen

Sie können die folgenden Beispielabfragen verwenden, um häufig gestellte Fragen zu beantworten:

• Verknüpfen von Clusterdatensätzen mit den neuesten Abrechnungsdatensätzen
• Ermitteln der Computeressourcen mit der höchsten durchschnittlichen Auslastung und der höchsten Auslastung
• Abrufen der neuesten Version jedes Instanzpools
• Berechnen des Leerlaufs und der aktiven Zeit der Instanz

Verbinden von Clusterdatensätzen mit den neuesten Abrechnungsdatensätzen

Diese Abfrage kann Ihnen helfen, die Ausgaben im Laufe der Zeit zu verstehen. Nachdem Sie den usage_start_time auf den aktuellen Abrechnungszeitraum aktualisiert haben, erfasst er die neuesten Aktualisierungen der Abrechnungsdaten, um die Clusterdaten zu verknüpfen.

Jeder Datensatz wird während dieser bestimmten Ausführung dem Clusterbesitzer zugeordnet. Wenn sich der Clusterbesitzer ändert, werden die Kosten basierend auf dem Zeitpunkt der Verwendung des Clusters dem richtigen Besitzer zugeordnet.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Identifizieren Sie die Computerressourcen mit der höchsten durchschnittlichen Auslastung und Spitzenauslastung

Ermitteln Sie die universellen und auftragsbezogenen Rechenressourcen mit der höchsten durchschnittlichen CPU-Auslastung und der höchsten Spitzen-CPU-Auslastung.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

Abrufen der neuesten Version jedes Instanzpools

Die instance_pools Tabelle ist SCD2-Typ, wobei anstelle vorhandener Datensätze immer ein neuer Datensatz erstellt wird, wenn eine Änderung vorgenommen wird. Um die neueste Version zu erhalten, nehmen Sie den Eintrag mit der größten change_time.

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

Berechnen des Leerlaufs und der aktiven Zeit der Instanz

Diese Abfrage berechnet die Gesamtlaufzeit und die aktive Zeit für jede Instanz mithilfe von Zustandsübergängen aus der instance_events Tabelle.

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;