Détection des anomalies

Cette page décrit la détection des anomalies, ce qu’elle surveille et comment l’utiliser.

Qu’est-ce que la détection d’anomalie ?

La détection des anomalies vous permet de surveiller la qualité des données sur toutes les tables d’un schéma. En analysant les modèles historiques, Azure Databricks évalue automatiquement l’exhaustivité et l’actualisation de chaque table. Les résultats sont disponibles dans l’Explorateur de catalogues.

Exigences

• Espace de travail avec Unity Catalog activé
• L'informatique sans serveur doit être disponible dans votre espace de travail (activée par défaut dans les espaces de travail avec Unity Catalog).
• Pour activer la détection d’anomalies sur un schéma, vous devez disposer de privilèges MANAGE ou MANAGE SCHEMACATALOG sur le schéma de catalogue.
• Pour afficher l’état de l’indicateur de santé des tables, vous avez besoin des privilèges SELECT ou BROWSE.

Comment fonctionne la détection des anomalies ?

Azure Databricks crée un processus en arrière-plan qui surveille les tables pour la fraîcheur et la complétude.

L’actualisation fait référence à la façon dont une table a été mise à jour récemment. La surveillance de la qualité des données analyse l’historique des validations dans une table et génère un modèle par table pour prédire l’heure de la validation suivante. Si une validation est inhabituellement tardive, la table est marquée comme obsolète.

L’exhaustivité fait référence au nombre de lignes censées être écrites dans la table au cours des 24 dernières heures. La surveillance de la qualité des données analyse le nombre de lignes historiques et, en fonction de ces données, prédit un nombre attendu de lignes. Si le nombre de lignes validées au cours des dernières 24 heures est inférieur à la limite inférieure de cette plage, la table est marquée comme incomplète.

Azure Databricks utilise l’analyse de données intelligente pour automatiser les fréquences de balayage des tables. L’analyse intelligente met en avant les tables à fort impact, déterminées par la popularité et l’utilisation en aval, et réduit la fréquence de l'analyse pour les tables moins critiques. Pour exclure manuellement des tables, utilisez l’API Créer un moniteur ou mettre à jour une API Monitor et spécifiez les tables exclues dans le excluded_table_full_names paramètre. Pour plus d’informations, voir la Documentation d’API.

La détection d’anomalies ne modifie pas les tables qu’elle surveille, ni n’ajoute de surcharge aux travaux qui remplissent ces tables.

Pourcentage nul pour la complétude

Pourcentage de valeurs nulles ajoute des détails de qualité supplémentaires à la complétude. Pourcentage null est le pourcentage de lignes écrites dans la table dans les dernières 24 heures censées avoir des valeurs Null pour une colonne donnée. La surveillance de la qualité des données analyse la tendance historique de chaque colonne et, en fonction de ces données, prédit une plage. Si le pourcentage null pour une colonne au cours des dernières 24 heures est supérieur à la limite supérieure de cette plage, une table est marquée comme incomplète.

Activer la détection d’anomalies sur un schéma

Pour activer la détection d’anomalies sur un schéma, accédez au schéma dans le catalogue Unity.

1. Dans la page de schéma, cliquez sur l’onglet Détails .

   

2. Cliquez sur Activer. Dans la boîte de dialogue Surveillance de la qualité des données , vérifiez que la détection des anomalies est activée, puis cliquez sur Enregistrer.

3. Une analyse est lancée. Databricks analyse automatiquement chaque table à la même fréquence qu’elle est mise à jour, fournissant des insights à jour sans nécessiter de configuration manuelle pour chaque table. Pour les schémas activés avant le 24 septembre 2025, Databricks a exécuté le moniteur sur les données historiques (« backtesting ») pour la première analyse, afin de vérifier la qualité de vos tables comme si la surveillance de la qualité des données avait été activée sur votre schéma il y a deux semaines.

4. Une fois l’analyse terminée, vous pouvez afficher les résultats de détection des anomalies pour vos tables de la manière suivante :

• Les indicateurs de santé apparaissent dans l'Explorateur du catalogue pour chaque table d'un schéma. Consultez les indicateurs de santé.
• Sous l’onglet Détails d’un schéma avec surveillance de la qualité des données activée, cliquez sur Afficher les résultats, puis affichez les résultats dans La surveillance de la qualité des données. Consultez Afficher les résultats de surveillance de la qualité des données dans l’interface utilisateur.
• Les problèmes de qualité détectés sont consignés dans la table système de sortie. Consultez Examiner les résultats enregistrés de la détection des anomalies.

Désactiver la détection des anomalies

Pour désactiver la détection des anomalies :

1. Cliquez sur l’icône de crayon.

   

2. Dans la boîte de dialogue Surveillance de la qualité des données , cliquez sur le bouton bascule.

   Important

   Lorsque vous désactivez la détection des anomalies, le travail de détection des anomalies et toutes les tables et informations de détection d’anomalies sont supprimés. Cette opération est irréversible.

   

3. Cliquez sur Enregistrer.

Indicateurs de santé

Après avoir activé la détection des anomalies sur un schéma, les indicateurs d’intégrité apparaissent sur les pages de vue d’ensemble du schéma et de la table dans l’Explorateur de catalogues. L’indicateur d’intégrité affiche un résumé de l’intégrité des tableaux pour les consommateurs de données et les utilisateurs professionnels sans qu’ils puissent accéder à l’interface utilisateur de surveillance de la qualité des données. Les utilisateurs ont besoin de l’autorisation SELECT ou de l’autorisation BROWSE pour afficher l’état de l’indicateur d’intégrité.

Le tableau suivant décrit l'état de chaque indicateur de santé :

Afficher les résultats de la surveillance de la qualité des données dans l’interface utilisateur

Après avoir activé la surveillance de la qualité des données sur un schéma, vous pouvez ouvrir la page des résultats en cliquant sur Afficher les résultats. Vous pouvez également accéder aux résultats de tous les schémas pour lesquels la surveillance est activée dans l’Explorateur de catalogues.

L’interface utilisateur des résultats contient des listes déroulantes pour le catalogue et le schéma. Lorsque vous sélectionnez un catalogue, la liste déroulante de schémas est remplie avec des schémas dans ce catalogue sur lequel la surveillance de la qualité des données est activée.

• Si vous avez les privilèges MANAGE ou SELECT sur le catalogue, vous pouvez afficher les incidents au niveau du catalogue. Pour afficher tous les incidents d’un catalogue, sélectionnez Tous les schémas dans le menu déroulant Schéma .

  

• Pour afficher les incidents d’un schéma spécifique, vous devez également disposer des privilèges MANAGE ou SELECT sur ce schéma. La sélection d’un schéma affiche ensuite les incidents pour ce schéma uniquement.

La page de résultats affiche une section récapitulative en haut, qui affiche la qualité globale des données pour l’étendue sélectionnée, y compris le pourcentage de tables saines et le pourcentage de schémas/tables actuellement surveillés. Vous trouverez ci-dessous une table répertoriant les incidents dans toutes les tables surveillées de l’étendue sélectionnée. Utilisez les boutons pour afficher des tables Non saines, saines ou d’erreur .

Le tableau suivant décrit les colonnes, qui sont légèrement différentes selon que vous sélectionnez Non sain, Sain ou Erreur.

Afficher les résultats au niveau du metastore

Cette section fournit un modèle que vous pouvez importer dans votre espace de travail. Ce modèle crée un tableau de bord qui vous permet d’afficher tous les résultats de qualité dans le metastore.

Pour utiliser ce modèle, vous devez avoir accès à la system.data_quality_monitoring.table_results table. Par défaut, seuls les administrateurs de compte ont accès à ce tableau. Ils peuvent accorder l’accès à d’autres personnes en fonction des besoins.

Comment utiliser le modèle

Suivez ces étapes :

1. Téléchargez le fichier de modèle : metastore-quality-dashboard.lvdash.json.
2. Dans la barre latérale de l’espace de travail, cliquez sur Tableaux de bord.
3. Dans le coin supérieur droit, sélectionnez Importer un tableau de bord à partir d’un fichier dans le menu déroulant Créer un tableau de bord .
4. Dans la boîte de dialogue, cliquez sur Choisir un fichier, accédez au fichier de modèle, puis cliquez sur Importer le tableau de bord.

Le fichier est importé et le tableau de bord s’affiche.

Détails de la qualité des tables

L’interface utilisateur détails de la qualité des tables vous permet d’approfondir les tendances et de comprendre pourquoi les anomalies ont été détectées pour des tables spécifiques dans votre schéma. Vous pouvez accéder à cette vue de plusieurs façons :

• À partir de l’interface utilisateur des résultats (nouvelle expérience), cliquez sur le lien de révision dans la liste des incidents.
• À partir du tableau de bord de surveillance (tableau de bord Lakeview hérité), cliquez sur le nom de la table sous l’onglet Vue d’ensemble de la qualité.
• À partir de la visionneuse de table UC, en accédant à l’onglet Qualité de la page de table.

Toutes les options vous permettent d’afficher la même vue des Détails de la qualité de la table pour la table sélectionnée.

Pour un tableau donné, l’interface utilisateur affiche des résumés de chaque contrôle de qualité pour le tableau, avec des graphiques des valeurs prédites et observées à chaque point d'évaluation. Les graphiques tracent les résultats de la dernière semaine de données.

Si le tableau a échoué aux contrôles de qualité, l’interface utilisateur affiche également tous les travaux en amont identifiés comme cause première.

Configurer des alertes

Pour configurer une alerte Databricks SQL dans la table des résultats de sortie, consultez Alertes pour la détection des anomalies.

Limites

• La détection d’anomalie ne prend pas en charge les vues ou les tables externes.
• La détermination de l’exhaustivité ne tient pas compte des métriques telles que la fraction de valeurs null, zéro ou NaN.

Détection d’anomalie héritée

Les sections suivantes couvrent deux fonctionnalités héritées : le tableau de bord de qualité des données et la configuration du travail de détection des anomalies. La version actuelle de la détection d’anomalies n’inclut pas ces fonctionnalités. Le tableau de bord a été remplacé par l’interface utilisateur des résultats de surveillance de la qualité des données.

[
  {
    "disable_check": false,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "table_latency_threshold_overrides": null,
    "static_table_threshold_override": null,
    "event_timestamp_col_names": null,
    "metric_type": "FreshnessConfig"
  },
  {
    "disable_check": true,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "metric_type": "CompletenessConfig"
  }
]