Detecção de anomalias

Esta página descreve o que é a detecção de anomalias, o que ela monitora e como usá-la.

O que é detecção de anomalias?

A detecção de anomalias permite monitorar a qualidade dos dados em todas as tabelas em um esquema. Analisando padrões históricos, Azure Databricks avalia automaticamente a integridade e o frescor de cada tabela. Os resultados estão disponíveis no Gerenciador de Catálogos.

Requisitos

• Workspace habilitado para Catálogo do Unity.
• A computação sem servidor deve estar disponível em seu workspace (habilitada por padrão em workspaces com o Catálogo do Unity).
• Para habilitar a detecção de anomalias em um esquema, você deve ter privilégios MANAGE SCHEMA ou MANAGE CATALOG no esquema de catálogo.
• Para exibir o status do indicador de integridade das tabelas, você precisa de SELECT ou privilégios de navegação.

Como funciona a detecção de anomalias?

Azure Databricks cria um trabalho em segundo plano que monitora tabelas para atualização e integridade.

Freshness indica há quanto tempo uma tabela foi atualizada. O monitoramento da qualidade de dados analisa o histórico de confirmações em uma tabela e cria um modelo para cada tabela para prever a hora da próxima confirmação. Se um commit estiver atrasado de forma incomum, a tabela será marcada como obsoleta.

Completude refere-se ao número de linhas que devem ser gravadas na tabela nas últimas 24 horas. O monitoramento de qualidade de dados analisa a contagem de linhas históricas e, com base nesses dados, prevê um intervalo de número esperado de linhas. Se o número de linhas com commit nas últimas 24 horas for menor que o limite inferior previsto, a tabela é marcada como incompleta.

Azure Databricks usa o escaneamento inteligente para automatizar as frequências de escaneamento de tabelas. A verificação inteligente prioriza tabelas de alto impacto, conforme determinado pela popularidade e pelo uso em processos subsequentes, e reduz a frequência para tabelas de menor importância. Para excluir tabelas manualmente, use a API Criar um Monitor ou Atualizar um Monitor e especifique as tabelas excluídas no excluded_table_full_names parâmetro. Para obter mais informações, consulte a documentação do API.

A detecção de anomalias não modifica as tabelas monitoradas, nem adiciona sobrecarga a trabalhos que preenchem essas tabelas.

Porcentagem nula para integridade

Porcentagem nula adiciona detalhes adicionais de qualidade à integridade. Percentual nulo é o percentual de linhas gravadas na tabela nas últimas 24 horas que devem ter valores nulos para uma determinada coluna. O monitoramento de qualidade de dados analisa a tendência histórica de cada coluna e, com base nesses dados, prevê um intervalo. Se a porcentagem nula de uma coluna nas últimas 24 horas for maior que o limite superior desse intervalo, uma tabela será marcada como incompleta.

Habilitar a detecção de anomalias em um esquema

Para habilitar a detecção de anomalias em um esquema, navegue até o esquema no Catálogo do Unity.

1. Na página do esquema, clique na guia Detalhes .

   

2. Clique em Habilitar. Na caixa de diálogo Monitoramento de Qualidade de Dados , verifique se a detecção de anomalias está ativada e clique em Salvar.

3. Uma verificação é iniciada. O Databricks verifica automaticamente cada tabela na mesma frequência em que ela é atualizada, fornecendo insights atualizados sem a necessidade de configuração manual para cada tabela. Para esquemas habilitados antes de 24 de setembro de 2025, o Databricks executou o monitor em dados históricos ("backtesting") para a primeira verificação, para verificar a qualidade de suas tabelas como se o monitoramento de qualidade de dados tivesse sido habilitado em seu esquema há duas semanas.

4. Depois que a verificação for concluída, você poderá exibir os resultados da detecção de anomalias para suas tabelas das seguintes maneiras:

• Os indicadores de saúde aparecem no Explorador de Catálogos para cada tabela dentro de um esquema. Consulte indicadores de integridade.
• Na guia Detalhes de um esquema com o Monitoramento de Qualidade de Dados habilitado, clique em Exibir resultados e, em seguida, exiba os resultados no Monitoramento da Qualidade dos Dados. Veja Exibir os resultados do monitoramento de qualidade de dados na interface do usuário.
• Os problemas de qualidade detectados são registrados na tabela do sistema de saída. Consulte Examinar os resultados registrados em log da detecção de anomalias.

Desabilitar a detecção de anomalias

Para desabilitar a detecção de anomalias:

1. Clique no ícone de lápis.

   

2. Na caixa de diálogo Monitoramento de Qualidade de Dados, clique no interruptor.

   Importante

   Quando você desabilitar a detecção de anomalias, o trabalho de detecção de anomalias e todas as tabelas e informações de detecção de anomalias são excluídos. Esta ação não pode ser desfeita.

   

3. Clique em Salvar.

Indicadores de saúde

Depois de habilitar a detecção de anomalias em um esquema, os indicadores de integridade aparecem nas páginas de visão geral do esquema e da tabela no Gerenciador de Catálogos. O indicador de integridade mostra um resumo da integridade da tabela para consumidores de dados e usuários empresariais sem exigir que eles naveguem até a interface do usuário do Monitoramento de Qualidade de Dados. Os usuários precisam da SELECT permissão ou da permissão BROWSE para visualizar o status do indicador de integridade.

A tabela a seguir descreve cada status de indicador de integridade:

Exibir os resultados do monitoramento de qualidade de dados na interface do usuário

Depois de habilitar o monitoramento de qualidade de dados em um esquema, você pode abrir a página de resultados clicando em Exibir resultados. Você também pode acessar os resultados de todos os esquemas que têm o monitoramento habilitado no Gerenciador de Catálogos.

A interface do usuário de resultados contém listas suspensas de catálogo e esquema. Quando você seleciona um catálogo, a lista suspensa de esquema é preenchida com esquemas nesse catálogo que têm o monitoramento de qualidade de dados habilitado.

• Se você tiver MANAGE ou SELECT privilégios no catálogo, poderá visualizar incidentes no nível do catálogo. Para exibir todos os incidentes em um catálogo, selecione Todos os Esquemas no menu de Esquema.

  

• Para exibir incidentes para um esquema específico, você também deve ter GERENCIAR ou SELECT privilégios nesse esquema. Selecionar um esquema mostra incidentes apenas para esse esquema.

A página de resultados mostra uma seção de resumo na parte superior, que exibe a qualidade geral dos dados para o escopo selecionado, incluindo a porcentagem de tabelas íntegras e o percentual de esquemas/tabelas monitorados no momento. Abaixo desta seção está uma tabela listando incidentes em todas as tabelas monitoradas no escopo selecionado. Use os botões para exibir tabelas não saudáveis, saudáveis ou de erro.

A tabela a seguir descreve as colunas, que são ligeiramente diferentes dependendo se você selecionar Não Íntegro, Íntegro ou Erro.

Exibir resultados no nível do metastore

Esta seção fornece um modelo que você pode importar para seu workspace. Esse modelo cria um painel que permite exibir todos os resultados de qualidade no metastore.

Para usar esse modelo, você deve ter acesso à system.data_quality_monitoring.table_results tabela. Por padrão, somente os administradores de conta têm acesso a essa tabela. Eles podem conceder acesso a outras pessoas conforme necessário.

Como usar o modelo

Siga estas etapas:

1. Baixe o arquivo de modelo: metastore-quality-dashboard.lvdash.json.
2. Na barra lateral do workspace, clique no Painéis.
3. No canto superior direito, selecione Importar painel do arquivo no menu suspenso Criar painel.
4. Na caixa de diálogo, clique em Escolher arquivo, navegue até o arquivo de modelo e clique em Importar painel.

O arquivo é importado e o painel é exibido.

Detalhes da qualidade da tabela

A Interface do Usuário Detalhes da Qualidade da Tabela permite que você se aprofunde nas tendências e entenda por que anomalias foram detectadas para tabelas específicas no seu esquema. Você pode acessar essa exibição de várias maneiras:

• Na interface de resultados do usuário (nova experiência), clique no link de revisão na lista de incidentes.
• No Painel de Monitoramento (painel herdado do Lakeview), clicando no nome da tabela na guia Visão Geral da Qualidade.
• No UC Table viewer, ao visitar a Quality tab na página da tabela.

Todas as opções levam você à mesma visualização Detalhes de Qualidade da Tabela para a tabela selecionada.

Dada uma tabela, a interface do usuário mostra os resumos de cada verificação de qualidade realizada na tabela, com gráficos de valores previstos e observados em cada instante de avaliação. Os gráficos plotam os resultados da última semana de dados.

Se a tabela falhar nas verificações de qualidade, a interface do usuário também exibirá quaisquer processos anteriores identificados como a causa raiz.

Configurar alertas

Para configurar um alerta do Databricks SQL na tabela de resultados de saída, consulte Alertas para detecção de anomalias.

Limitações

• A detecção de anomalias não dá suporte a exibições ou tabelas estrangeiras.
• A determinação da integridade não leva em conta métricas como a fração de nulos, valores zero ou NaN.

Detecção de anomalias herdada

As seções a seguir abrangem dois recursos herdados: o painel de qualidade de dados e a configuração do trabalho de detecção de anomalias. A versão atual da detecção de anomalias não inclui esses recursos. O painel de controle foi substituído pela interface do usuário dos resultados do monitoramento da qualidade dos dados.

[
  {
    "disable_check": false,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "table_latency_threshold_overrides": null,
    "static_table_threshold_override": null,
    "event_timestamp_col_names": null,
    "metric_type": "FreshnessConfig"
  },
  {
    "disable_check": true,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "metric_type": "CompletenessConfig"
  }
]