Informazioni dettagliate sulle prestazioni delle query

Quando vengono eseguite query, Databricks potrebbe restituire informazioni dettagliate che identificano le opportunità per migliorare le prestazioni. Questa pagina elenca le informazioni dettagliate supportate e il loro significato.

Per una panoramica più ampia delle procedure consigliate per le prestazioni, vedere la Guida completa per ottimizzare i carichi di lavoro di Databricks, Spark e Delta Lake.

SCRITTURA_CONCORRENTE

• Le scritture simultanee nella tabella causano conflitti che vengono risolti automaticamente o non riescono.
• Raccomandazione: esaminare la cronologia delta per identificare le scritture simultanee e prendere in considerazione una pianificazione diversa per evitare conflitti.

Chiavi_di_Filtro_Copertura_Clustering

• La tabella è raggruppata da una o più chiavi che non vengono usate per filtrare durante l'analisi della tabella.
• Raccomandazione: determinare il subset di dati necessario per il risultato desiderato, quindi aggiungere filtri alle chiavi di clustering corrispondenti per ridurre la lettura dei byte.

COVERAGE_FILTER_KEYS_PARTITIONING

• La tabella è partizionata da una o più chiavi che non vengono usate per filtrare durante l'analisi della tabella.
• Raccomandazione: determinare quale subset di dati è necessario per il risultato desiderato, quindi aggiungere filtri sulle chiavi di partizionamento corrispondenti per ridurre la lettura dei byte.

COVERAGE_PHOTON

• Photon non può accelerare l'operazione, quindi è stato usato il motore di runtime standard.
• Raccomandazione: esaminare le limitazioni di Photon e valutare la possibilità di modificare la query in modo da usare una strategia di esecuzione supportata per un runtime più rapido.

COVERAGE_STATS_DELTA

• Le statistiche di salto dei dati delta sono mancanti o incomplete per i filtri dei file di scansione della tabella, quindi la query usa il filtro in-file. Sono possibili gli stati delle statistiche seguenti:
  • Completo: le statistiche sono disponibili per tutti i filtri.
  • Parziale: le statistiche sono disponibili in un subset di filtri.
  • Non disponibile: le statistiche non sono disponibili in alcun filtro.
  • Non usato: non è stato possibile usare statistiche su un filtro che converte il tipo di dati.
• Raccomandazione: raccogliere statistiche Delta per ridurre il numero di byte letti.

COVERAGE_STATS_OPTIMIZER

• Le statistiche dell'ottimizzatore basato sui costi sono mancanti o incomplete, quindi per generare il piano di query sono state usate euristiche standard.
• Raccomandazione: raccogliere statistiche per consentire all'ottimizzatore di produrre un piano migliore.

DATA_SKEW

• I dati vengono elaborati in modo non uniforme tramite le risorse di calcolo disponibili.
• Raccomandazione: esaminare la distribuzione dei dati, quindi aggiungere sale alle chiavi o preaggregare i dati.

DATA_SPILL

• Perdita di dati su disco durante l'esecuzione di un operatore perché le dimensioni dei dati non sono adatte alla memoria.
• Raccomandazione: aumentare le dimensioni del magazzino per aumentare la memoria disponibile. Ridurre il numero di righe, il numero di colonne o dimensioni di colonne di grandi dimensioni (stringhe, matrici, mappe, struct) per ridurre l'utilizzo della memoria.

EXCESSIVE_QUEUE_TIME

• La query è stata in attesa in coda nel magazzino.
• Raccomandazione: aumentare il numero massimo di cluster nel magazzino per ridurre il tempo di coda.

EXPLODING_JOIN

• Il joingenera molte più righe di quelle lette.
• Raccomandazione: determinare quale subset di risultati è necessario, quindi aggiornare il join o ridurre il numero di righe di input da entrambe le relazioni.

FLOW_FULL_RECOMPUTE

• Il flusso è stato pianificato per essere eseguito come ricomputazione completa.
• Raccomandazione: riscrivere la query per il supporto incrementale per ridurre il numero di byte letti.

IO_THROTTLING

• La richiesta di archiviazione cloud è stata limitata dal provider di servizi cloud.
• Raccomandazione: contattare l'amministratore per aumentare i limiti delle richieste di archiviazione cloud con il provider di servizi cloud.

REDUNDANT_AGGREGATION

• L'aggregazione non ha modificato il risultato della query.
• Raccomandazione: rimuovere l'aggregazione o applicare vincoli di chiave primaria ed esterna.

SELECTIVE_JOIN

• Il join genera un numero significativamente inferiore di righe rispetto a quello letto.
• Raccomandazione: determinare quale subset di risultati è necessario, quindi aggiungere filtri prima del join per ridurre il numero di righe di input.

WIDE_PROJECTION

• Proiezione di tutte le colonne nella tabella.
• Raccomandazione: determinare quale subset di risultati è necessario, quindi proiettare solo tali colonne per ridurre il numero di byte letti.