Verwijzing naar computersysteemtabel

Dit artikel bevat een naslaghandleiding voor de rekensysteemtabellen. U kunt deze tabellen gebruiken om de activiteit en metrische gegevens van klassieke all-purpose compute, jobs compute en Lakeflow Spark Declarative Pipelines compute in uw account te bewaken. Deze klassieke rekentabellen zijn onder andere:

• clusters: legt de configuraties voor berekeningen in uw account vast.
• node_types: Bevat één record voor elk van de momenteel beschikbare knooppunttypen, inclusief hardwaregegevens.
• node_timeline: Bevat minuut-per-minuut-records van de metrische gegevens over het gebruik van uw rekenproces.
• instance_events: legt statusovergangen vast van klassieke rekeninstanties.
• instance_pools: registreert configuraties van exemplaarpools in uw account.

Clustertabelschema

De clustertabel is een langzaam veranderende dimensietabel die de volledige geschiedenis van rekenconfiguraties in de loop van de tijd bevat voor berekeningen voor alle doeleinden, taken berekenen, declaratieve pijplijnen berekenen van Lakeflow Spark en berekeningen voor pijplijnonderhoud.

tabelpad: deze systeemtabel bevindt zich op system.compute.clusters

Naslaginformatie over de toegangsmodus

In de volgende tabel worden de mogelijke waarden in de data_security_mode kolom vertaald. De kolom kan ook voor bepaalde pijplijnen en door het systeem gemaakte clusters zijn null .

De verouderde toegangsmodi worden vastgelegd met de volgende waarden:

tabelschema voor knooppunttypen

De tabel van het knooppunttype legt de momenteel beschikbare knooppunttypen vast met de basishardwaregegevens.

tabelpad: deze systeemtabel bevindt zich op system.compute.node_types.

tijdlijntabelschema voor knooppunten

De tijdlijntabel voor knooppunten legt gegevens over resourcegebruik op knooppuntniveau vast op minuutgranulariteit. Elke record bevat gegevens voor een bepaalde minuut per instantie. In deze tabel worden knooppunttijdlijnen vastgelegd voor de rekenresources voor algemeen gebruik, taakberekening, declaratieve pijplijnen van Lakeflow Spark en rekenresources voor onderhoud van pijplijnen in uw account.

tabelpad: deze systeemtabel bevindt zich op system.compute.node_timeline.

Schema van tabel met instantie-gebeurtenissen

In de tabel met instantie gebeurtenissen worden statusovergangen van klassieke rekeninstanties vastgelegd. Elke rij vertegenwoordigt een statuswijziging voor één exemplaar. Deze tabel bevat records voor berekeningen voor alle doeleinden, taken en declaratieve pijplijnen van Lakeflow Spark vanuit alle werkruimten in uw account die zijn geïmplementeerd in dezelfde cloudregio.

tabelpad: deze systeemtabel bevindt zich op system.compute.instance_events.

Exemplaarstatussen

• INSTANCE_LAUNCHING: het exemplaar wordt geïnitialiseerd.
• INSTANCE_READY: Het exemplaar is volledig geïnitialiseerd en gereed om te worden gebruikt, maar is momenteel niet in gebruik.
• INSTANCE_PLACED: Het exemplaar is momenteel in gebruik (gekoppeld aan een cluster).
• INSTANCE_TERMINATED: Het exemplaar wordt beëindigd.

Wanneer wordt cluster_id ingevuld?

Het cluster_id veld wordt alleen ingevuld wanneer het exemplaar de INSTANCE_PLACED status heeft. Voor alle andere staten (INSTANCE_LAUNCHING, INSTANCE_READY, INSTANCE_TERMINATED), cluster_id is null. Dit gedrag is consistent voor zowel gegroepeerde als niet-poolexemplaren.

De instance_events tabel bevat alleen plaatsingsgebeurtenissen voor alle doeleinden, taken en declaratieve pijplijnen van Lakeflow Spark. Plaatsingsgebeurtenissen voor andere workloads, zoals SQL-warehouses, worden niet opgenomen in deze tabel.

Tabelschema exemplaargroepen

De tabel exemplaarpools is een langzaam veranderende dimensietabel die de volledige geschiedenis van de configuraties van exemplaargroepen in de loop van de tijd bevat. Wanneer een configuratie wordt gewijzigd, wordt er een nieuwe rij verzonden, waarbij de vorige logisch wordt vervangen.

tabelpad: deze systeemtabel bevindt zich op system.compute.instance_pools.

Bekende beperkingen

• Rekenresources die gemarkeerd waren als verwijderd vóór 23 oktober 2023, worden niet weergegeven in de clustertabel. Dit kan leiden tot joins uit de system.billing.usage-tabel die niet overeenkomen met de records in de clustertabel. Alle actieve rekenresources zijn weer ingevuld.
• Deze tabellen bevatten alleen records voor generieke en taakcomputing. Ze bevatten geen records voor serverloze berekeningen of SQL-warehouses.
• Knooppunten die minder dan 10 minuten hebben gedraaid, worden mogelijk niet weergegeven in de node_timeline tabel.

Voorbeeldqueries

U kunt de volgende voorbeeldquery's gebruiken om veelgestelde vragen te beantwoorden:

• clustergegevens verbinden met de meest recente factureringsgegevens
• De rekenresources identificeren met het hoogste gemiddelde gebruik en piekgebruik
• De meest recente versie van elke exemplaargroep ophalen
• De niet-actieve en actieve tijd van het exemplaar berekenen

Clusterrecords koppelen met de meest recente factureringsrecords

Deze query kan u helpen inzicht te hebben in de uitgaven in de loop van de tijd. Zodra u de usage_start_time hebt bijgewerkt naar de meest recente factureringsperiode, worden de laatste updates voor de factureringsgegevens opgehaald om te worden samengevoegd tot clustergegevens.

Elke record is gekoppeld aan de eigenaar van het cluster tijdens die specifieke uitvoering. Dus als de eigenaar van het cluster verandert, worden de kosten doorberekend naar de juiste eigenaar op basis van het gebruiksmoment van het cluster.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

De rekenresources identificeren met het hoogste gemiddelde gebruik en piekgebruik

Identificeer het rekenproces voor alle doeleinden en taken met het hoogste gemiddelde CPU-gebruik en het hoogste PIEK-CPU-gebruik.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;

De meest recente versie van elke exemplaargroep ophalen

De instance_pools tabel is SCD2-type, waarbij in plaats van bestaande records een nieuwe record wordt gemaakt telkens wanneer er een wijziging wordt aangebracht. Als u de meest recente versie wilt ophalen, neemt u de vermelding met het grootste change_time.

SELECT *
FROM system.compute.instance_pools
QUALIFY row_number() OVER (
  PARTITION BY workspace_id, instance_pool_id
  ORDER BY change_time DESC
) = 1;

De niet-actieve en actieve tijd van het exemplaar berekenen

Deze query berekent de totale inactieve tijd en de actieve tijd voor elk exemplaar met behulp van statusovergangen uit de instance_events tabel.

WITH instance_states AS (
  SELECT
    *,
    event_time AS start_time,
    lead(event_time) OVER (
      PARTITION BY workspace_id, instance_id
      ORDER BY event_time
    ) AS end_time
  FROM system.compute.instance_events
  WHERE event_type IN ('INSTANCE_LAUNCHING', 'STATE_TRANSITION')
)
SELECT
  workspace_id,
  instance_id,
  instance_pool_id,
  sum(if(state = 'INSTANCE_READY',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS idle_minutes,
  sum(if(state = 'INSTANCE_PLACED',
    TIMESTAMPDIFF(SECOND, start_time, end_time), 0)) / 60 AS active_minutes
FROM instance_states
GROUP BY workspace_id, instance_id, instance_pool_id;