Databricks admiten ciclos de vida

Como parte del compromiso de Azure Databricks con la innovación, las características de plataforma y tiempo de ejecución se pueden retirar y reemplazar por nuevas características. Las versiones de Databricks Runtime también se retiran y reemplazan de acuerdo con un cronograma regular. En esta página se enumeran las fases de retirada y los detalles sobre la compatibilidad correspondiente con las características de la plataforma y las versiones de Databricks Runtime. También incluye consultas SQL para detectar clústeres y trabajos mediante versiones heredadas de Databricks Runtime.

Para obtener información sobre las versiones preliminares y los tipos de versión, consulte Azure Databricks versiones preliminares.

Ciclo de vida de las características de la plataforma

Las fases de retirada de características de la plataforma Azure Databricks se describen en la siguiente tabla:

Ciclos de vida de soporte técnico de Databricks Runtime

Cada versión de Databricks Runtime tiene una versión beta inicial para la evaluación temprana y, a continuación, se inicia como disponible con carácter general (GA). Durante la fase de desarrollo de características de disponibilidad general (aproximadamente seis meses), Azure Databricks publica nuevas características y correcciones en el mismo número de versión. Los clústeres reciben actualizaciones cuando se reinician. Después de la fase de desarrollo de características, la versión pasa a soporte técnico a largo plazo (LTS) durante tres años. Para consultar las versiones compatibles, consulte Versiones y compatibilidad de las notas de la versión de Databricks Runtime.

Las cargas de trabajo en versiones de Databricks Runtime no admitidas pueden seguir ejecutándose, pero Azure Databricks no proporciona soporte técnico ni correcciones.

Detección de clústeres heredados de Databricks Runtime

Esta vista temporal proporciona un resumen del uso del clúster de Databricks Runtime para clústeres que ejecutan databricks Runtime versiones 10.4 o anteriores. Agrega el uso de los últimos 90 días e incluye información del espacio de trabajo, identificadores de clúster, versiones de Databricks Runtime, unidades de uso y uso total en unidades de Databricks (DBUs).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Para ver el uso heredado de Databricks Runtime por clúster, consulte la vista recién creada.

SELECT * FROM legacy_dbrs;

Para ver el uso agregado del clúster entre áreas de trabajo y versiones de Databricks Runtime, use la consulta siguiente. Esto ayuda a identificar qué versiones de Databricks Runtime todavía están en uso, el número de clústeres que ejecutan cada versión y el uso total en las DTU.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Detección de trabajos heredados de Databricks Runtime

Use esta consulta para recuperar todos los trabajos que se han ejecutado en los últimos 90 días en los que la ejecución más reciente usó una versión de Databricks Runtime anterior a la 10.4. Esto ayuda a identificar las cargas de trabajo que requieren la actualización.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'