Detección de anomalías

En esta página se describe qué es la detección de anomalías, qué supervisa y cómo usarla.

¿Qué es la detección de anomalías?

La detección de anomalías permite supervisar la calidad de los datos en todas las tablas de un esquema. Al analizar patrones históricos, Azure Databricks evalúa automáticamente la integridad y la actualización de cada tabla. Los resultados están disponibles en el Explorador de catálogos.

Requisitos

• Área de trabajo habilitada para el catálogo de Unity.
• El proceso sin servidor debe estar disponible en el área de trabajo (habilitada de forma predeterminada en áreas de trabajo con el catálogo de Unity).
• Para habilitar la detección de anomalías en un esquema, debe tener privilegios MANAGE SCHEMA o MANAGE CATALOG en el esquema de catálogo.
• Para ver el estado del indicador de salud de las tablas, necesita SELECT o privilegios de exploración.

¿Cómo funciona la detección de anomalías?

Azure Databricks crea un trabajo en segundo plano que supervisa las tablas para verificar su actualidad y completitud.

Actualización hace referencia a la actualización de una tabla recientemente. La supervisión de la calidad de los datos analiza el historial de confirmaciones en una tabla y crea un modelo por tabla para predecir la hora de la siguiente confirmación. Si una confirmación es inusualmente tardía, la tabla se marca como obsoleta.

Integridad hace referencia al número de filas que se espera que se escriban en la tabla en las últimas 24 horas. La supervisión de la calidad de los datos analiza el recuento histórico de filas y, basándose en estos datos, predice el número esperado de filas. Si el número de filas confirmadas en las últimas 24 horas es menor que el límite inferior de este intervalo, una tabla se marca como incompleta.

Azure Databricks usa el examen inteligente para automatizar las frecuencias de examen de tablas. El escaneo inteligente da prioridad a las tablas de alto impacto, según lo determinado por la popularidad y el uso posterior, y reduce la frecuencia para las tablas menos críticas. Para excluir manualmente las tablas, use la API Create a Monitor o Update a Monitor y especifique las tablas excluidas en el excluded_table_full_names parámetro . Para obtener más información, consulte la documentación de la API.

La detección de anomalías no modifica ninguna tabla que supervisa ni agrega sobrecarga a los trabajos que rellenan estas tablas.

Porcentaje nulo para la integridad

El porcentaje nulo agrega detalles adicionales de calidad a la integridad. Percent null es el porcentaje de filas escritas en la tabla en las últimas 24 horas que se espera que tengan valores NULL para una columna determinada. La supervisión de la calidad de los datos analiza la tendencia histórica de cada columna y, en función de estos datos, predice un intervalo. Si el porcentaje NULL de una columna en las últimas 24 horas es mayor que el límite superior de este intervalo, una tabla se marca como incompleta.

Habilitación de la detección de anomalías en un esquema

Para habilitar la detección de anomalías en un esquema, vaya al esquema en el catálogo de Unity.

1. En la página de esquema, haga clic en la pestaña Detalles.

   

2. Haga clic en Habilitar. En el cuadro de diálogo Supervisión de la calidad de los datos, asegúrese de que la detección de anomalías está activada y, a continuación, haga clic en Guardar.

3. Se inicia un examen. Databricks explora automáticamente cada tabla con la misma frecuencia que se actualiza, lo que proporciona información actualizada sin necesidad de realizar la configuración manual de cada tabla. En el caso de los esquemas habilitados antes del 24 de septiembre de 2025, Databricks ejecutó el monitor en datos históricos ("backtesting") para el primer examen, para comprobar la calidad de las tablas como si la supervisión de calidad de datos se hubiera habilitado en el esquema hace dos semanas.

4. Una vez completado el examen, puede ver los resultados de la detección de anomalías de las tablas de las maneras siguientes:

• Los indicadores de estado aparecen en el Explorador de catálogos para cada tabla dentro de un esquema. Consulte Indicadores de salud.
• En la pestaña Detalles de un esquema con supervisión de calidad de datos habilitada, haga clic en Ver resultados y, a continuación, vea los resultados en Supervisión de la calidad de los datos. Consulte Visualización de los resultados de la supervisión de la calidad de los datos en la interfaz de usuario.
• Los problemas de calidad detectados se registran en la tabla del sistema de salida. Consulte Revisión de los resultados registrados de detección de anomalías.

Deshabilitar la detección de anomalías

Para deshabilitar la detección de anomalías:

1. Haga clic en el icono de lápiz.

   

2. En el cuadro de diálogo Supervisión de la calidad de los datos , haga clic en el botón de alternancia.

   Importante

   Al deshabilitar la detección de anomalías, se eliminan el trabajo de detección de anomalías y todas las tablas e información de detección de anomalías. Esta acción no se puede deshacer.

   

3. Haz clic en Guardar.

Indicadores de salud

Después de habilitar la detección de anomalías en un esquema, los indicadores de estado aparecen en las páginas de información general de esquema y tabla en el Explorador de catálogos. El indicador de estado muestra un resumen del estado de la tabla para los consumidores de datos y los usuarios empresariales sin necesidad de navegar a la interfaz de usuario de Supervisión de la calidad de los datos. Los usuarios necesitan el permiso SELECT o BROWSE para ver el estado del indicador de salud.

La siguiente tabla describe cada estado del indicador de salud.

Visualización de los resultados de la supervisión de la calidad de los datos en la interfaz de usuario

Después de habilitar la supervisión de la calidad de los datos en un esquema, puede abrir la página de resultados haciendo clic en Ver resultados. También puede acceder a los resultados de todos los esquemas que tienen habilitada la supervisión en el Explorador de catálogos.

La interfaz de usuario de resultados contiene listas desplegables de catálogos y esquemas. Al seleccionar un catálogo, la lista desplegable de esquemas se rellena con esquemas de ese catálogo que tienen habilitada la supervisión de la calidad de los datos.

• Si tiene privilegios de ADMINISTRAR o SELECT en el catálogo, puede ver incidentes a nivel de catálogo. Para ver todos los incidentes de un catálogo, seleccione Todos los esquemas en el menú desplegable Esquema .

  

• Para ver incidentes de un esquema específico, también debe tener MANAGE u otros privilegios en ese esquema. Al seleccionar un esquema, se muestran incidentes solo para ese esquema.

La página de resultados muestra una sección de resumen en la parte superior, que muestra la calidad general de los datos para el ámbito seleccionado, incluido el porcentaje de tablas correctas y el porcentaje de esquemas o tablas supervisados actualmente. Debajo de esta sección se muestra una tabla que enumera incidentes en todas las tablas supervisadas en el ámbito seleccionado. Utilice los botones para mostrar las tablas No saludable, Saludable o Error.

En la tabla siguiente se describen las columnas, que son ligeramente diferentes en función de si selecciona Incorrecto, Correcto o Error.

Ver resultados de nivel de metastore

En esta sección se proporciona una plantilla que puede importar en el área de trabajo. Esta plantilla crea un panel que le permite ver todos los resultados de calidad en el metastore.

Para usar esta plantilla, debe tener acceso a la system.data_quality_monitoring.table_results tabla. De forma predeterminada, solo los administradores de cuentas tienen acceso a esta tabla. Pueden conceder acceso a otros usuarios según sea necesario.

Uso de la plantilla

Siga estos pasos:

1. Descargue el archivo de plantilla: metastore-quality-dashboard.lvdash.json.
2. En la barra lateral del área de trabajo, haga clic en Paneles.
3. En la esquina superior derecha, en el menú desplegable Crear panel, seleccione Importar panel desde archivo.
4. En el cuadro de diálogo, haga clic en Elegir archivo, vaya al archivo de plantilla y haga clic en Importar panel.

El archivo se importa y aparece el panel.

Detalles de calidad de la tabla

La interfaz de usuario detalles de calidad de la tabla permite profundizar en las tendencias y comprender por qué se detectaron anomalías para tablas específicas en el esquema. Puede acceder a esta vista de varias maneras:

• En la interfaz de usuario de resultados (nueva experiencia), haga clic en el enlace de revisión en la lista de incidentes.
• En el panel de supervisión (panel heredado de Lakeview), haga clic en el nombre de la tabla en la pestaña Información general de calidad.
• Desde el visor de tabla UC, visite la pestaña Calidad en la página de la tabla.

Todas las opciones le llevan a la misma vista Detalles de Calidad de la Tabla para la tabla seleccionada.

Dada una tabla, la interfaz de usuario muestra resúmenes de cada comprobación de calidad de la tabla, con gráficos de valores predichos y observados en cada marca de tiempo de evaluación. Los gráficos trazan los resultados de la última semana de datos.

Si la tabla no superó las comprobaciones de calidad, la IU también muestra los trabajos ascendentes identificados como la causa raíz.

Configuración de alertas

Para configurar una alerta de SQL de Databricks en la tabla de resultados de salida, consulte Alertas para la detección de anomalías.

Limitaciones

• La detección de anomalías no admite vistas ni tablas externas.
• La determinación de completitud no tiene en cuenta métricas como la fracción de valores null, cero o NaN.

Detección de anomalías de legado

En las secciones siguientes se tratan dos características heredadas: el panel de calidad de datos y la configuración del trabajo de detección de anomalías. La versión actual de la detección de anomalías no incluye estas características. El panel se ha reemplazado por la interfaz de usuario de resultados de supervisión de calidad de datos.

[
  {
    "disable_check": false,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "table_latency_threshold_overrides": null,
    "static_table_threshold_override": null,
    "event_timestamp_col_names": null,
    "metric_type": "FreshnessConfig"
  },
  {
    "disable_check": true,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "metric_type": "CompletenessConfig"
  }
]