Informações de desempenho de consultas

Quando as consultas são executadas, o Databricks pode retornar informações que identificam oportunidades para melhorar o desempenho. Esta página apresenta as análises suportadas e o seu significado.

Para obter uma visão geral mais ampla das práticas recomendadas de desempenho, consulte o Guia abrangente para otimizar cargas de trabalho de Databricks, Spark e Delta Lake.

ESCRITA_CONCORRENTE

• Gravações simultâneas na tabela causam conflitos que são resolvidos automaticamente ou falham.
• Recomendação: Verifique o histórico delta para identificar escritas simultâneas e considere uma programação diferente para evitar conflitos.

COVERAGE_FILTER_KEYS_CLUSTERING

• A tabela é agrupada por uma ou mais chaves que não são usadas na filtragem durante a verificação da tabela.
• Recomendação: Determine qual subconjunto de dados você precisa para o resultado desejado e, em seguida, adicione filtros nas chaves de cluster correspondentes para reduzir os bytes lidos.

COBERTURA_FILTRO_CHAVES_PARTICIONAMENTO

• A tabela é particionada por uma ou mais chaves que não são usadas na filtragem durante a verificação da tabela.
• Recomendação: Determine qual subconjunto de dados você precisa para o resultado desejado e, em seguida, adicione filtros nas chaves de particionamento correspondentes para reduzir os bytes lidos.

COVERAGE_PHOTON

• Photon não pode acelerar a operação, então o mecanismo de tempo de execução padrão foi usado.
• Recomendação: Revise as limitações do Photon e considere ajustar a consulta para usar uma estratégia de execução suportada para um tempo de execução mais rápido.

DELTA_ESTATÍSTICAS_COBERTURA

• As estatísticas de salto de dados delta estão ausentes ou incompletas para os filtros de ficheiro de varredura da tabela, assim a consulta usa filtragem no ficheiro. São possíveis os seguintes estados estatísticos:
  • Completo: As estatísticas estão disponíveis para todos os filtros.
  • Parcial: As estatísticas estão disponíveis em um subconjunto de filtros.
  • Indisponível: As estatísticas não estão disponíveis em nenhum filtro.
  • Não utilizado: as estatísticas não puderam ser usadas em um filtro que converte o tipo de dados.
• Recomendação: Colete estatísticas Delta para reduzir o número de bytes lidos.

COVERAGE_STATS_OPTIMIZER

• As estatísticas do otimizador baseadas em custos estão ausentes ou incompletas, portanto, heurísticas padrão foram usadas para gerar o plano de consulta.
• Recomendação: Coletar estatísticas para permitir que o otimizador produza um plano melhor.

DISTORÇÃO_DE_DADOS

• Os dados são processados de forma desigual pelos recursos computacionais disponíveis.
• Recomendação: Rever a distribuição dos dados e depois aleatorizar chaves ou pré-agregar os dados.

DATA_SPILL

• Os dados transbordam para o disco durante a execução de um operador porque o tamanho dos dados não cabia na memória.
• Recomendação: Aumentar o tamanho do armazém para aumentar a memória disponível. Reduzir o número de linhas, o número de colunas ou o tamanho de colunas grandes (strings, arrays, maps, structs) para diminuir o uso de memória.

EXCESSIVE_QUEUE_TIME

• A consulta tem estado à espera na fila do armazém.
• Recomendação: Aumentar o número máximo de clusters no armazém para reduzir o tempo de fila.

EXPLODING_JOIN

• Join está a gerar um número significativamente maior de linhas do que leu.
• Recomendação: Determine qual o subconjunto de resultados necessário, depois atualize a junção ou reduza o número de linhas de entrada de ambas as relações.

FLOW_FULL_RECOMPUTE

• O fluxo foi planeado para ser executado como recomputo completo.
• Recomendação: Reescrever a consulta para suporte incremental e reduzir o número de bytes lidos.

IO_THROTTLING

• O pedido de armazenamento na cloud foi limitado pelo seu fornecedor de cloud.
• Recomendação: Contacte o seu administrador para aumentar os seus limites de pedidos de armazenamento na cloud junto do seu fornecedor de cloud.

REDUNDANT_AGGREGATION

• O agregado não alterou o resultado da consulta.
• Recomendação: Remover o agregado ou aplicar restrições de chave primária e estrangeira.

SELECTIVE_JOIN

• Join está a gerar significativamente menos linhas do que leu.
• Recomendação: Determine qual o subconjunto de resultados necessário, depois adicione filtros antes da junção para reduzir o número de linhas de entrada.

WIDE_PROJECTION

• Projetando todas as colunas na mesa.
• Recomendação: Determine qual o subconjunto de resultados necessário e depois projete apenas essas colunas para reduzir o número de bytes lidos.