Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Gli aggiornamenti automatici per gli schemi esistenti sono disponibili in anteprima pubblica. Per registrarsi, completare questo modulo con l'ID account. Dopo la registrazione non sono necessarie modifiche al codice o altre configurazioni.
Gli aggiornamenti automatici per i nuovi schemi sono disponibili a livello generale.
Per le tabelle gestite di Unity Catalog, Databricks li aggiorna automaticamente per usare le funzionalità consigliate disponibili a livello generale senza richiedere modifiche al codice o istruzioni manuali ALTER TABLE . Gli aggiornamenti automatici verificano anche che i client siano compatibili prima di attivare nuove funzionalità.
Gli aggiornamenti automatici offrono i vantaggi seguenti:
- Ridurre l'impegno amministrativo necessario per convalidare i singoli requisiti di compatibilità per ogni combinazione di tabelle e funzionalità nelle aree di lavoro. Ciò è particolarmente utile se sono presenti cataloghi con migliaia di tabelle.
- Ottenere automaticamente i miglioramenti più recenti delle prestazioni e dell'affidabilità nelle tabelle gestite.
- Aggiornare le tabelle in modo sicuro. Gli aggiornamenti automatici attivano le funzionalità solo dopo aver verificato la compatibilità del carico di lavoro.
Funzionamento degli aggiornamenti automatici
Gli aggiornamenti automatici monitorano i modelli di accesso del catalogo Unity a livello di tabella e schema e usano una finestra di osservazione per verificare che i modelli di accesso siano compatibili prima di attivare qualsiasi funzionalità. La finestra di osservazione è di 50 giorni per le funzionalità in anteprima pubblica e 100 giorni per le funzionalità disponibili a livello generale.
Gli aggiornamenti automatici usano il calcolo serverless per aggiornare le tabelle in background.
Schemi e tabelle
Il comportamento degli aggiornamenti automatici dipende dal fatto che gli schemi e le tabelle esistano prima di attivare gli aggiornamenti automatici. La tabella seguente fornisce altri dettagli:
| Schema | Tabella | Behavior |
|---|---|---|
| Nuova | Nuova | Gli aggiornamenti automatici impostano le impostazioni predefinite a livello di schema in fase di creazione in modo che le tabelle ereditino immediatamente tutte le funzionalità supportate senza un periodo di osservazione. |
| Esistente | Nuova | Gli aggiornamenti automatici attivano una funzionalità se solo i carichi di lavoro verificati hanno eseguito l'accesso alla tabella all'interno della finestra di osservazione. In caso contrario, se un singolo carico di lavoro non verificato ha eseguito l'accesso alla tabella, gli aggiornamenti automatici ignorano la tabella. Vedere carichi di lavoro verificati. |
| Esistente | Esistente | Gli aggiornamenti automatici attivano una funzionalità quando sono soddisfatte tutte le condizioni seguenti:
|
Carichi di lavoro verificati
Un carico di lavoro viene considerato verificato per una funzionalità specifica se ha eseguito l'accesso alla tabella da un cluster Databricks con una versione di Databricks Runtime in corrispondenza o superiore alla versione minima richiesta della funzionalità.
Gli aggiornamenti automatici considerano i carichi di lavoro seguenti non verificati:
- Client esterni e servizi di terze parti, ad esempio Flink o Presto. Vedere Integrazioni del catalogo Unity.
- Servizi di Azure Databricks con accesso diretto o a livello di kernel, come Zerobus, che eludono i modelli di accesso standard di Databricks Runtime. Consulta Panoramica del connettore di Ingest Zerobus.
Se una tabella in uno schema è stata accessibile all'interno della finestra di osservazione da una versione di Databricks Runtime al di sotto della versione minima richiesta della funzionalità o da un client esterno, gli aggiornamenti automatici non attivano la funzionalità corrispondente in qualsiasi tabella in tale schema.
Funzionalità supportate
Gli aggiornamenti automatici attivano automaticamente le funzionalità disponibili a livello generale. Tuttavia, gli aggiornamenti non attivano le funzionalità in Anteprima pubblica, a meno che non si esegua la registrazione nell'anteprima.
Gli aggiornamenti automatici supportano le funzionalità seguenti:
| Feature | Funzionamento | Stato del rilascio | Versione minima compatibile di Databricks Runtime |
|---|---|---|---|
| Tracciamento delle righe | Mantiene gli ID di riga nascosti per l'elaborazione incrementale con feed di dati delle modifiche. | Disponibile a livello generale per le nuove tabelle nei nuovi schemi. Anteprima pubblica per tutte le tabelle negli schemi esistenti. | 14.1 |
| Checkpoint V2 | Consente a Delta Lake di supportare più processi di scrittura simultanei e riduce i conflitti di scrittura nelle tabelle di grandi dimensioni o aggiornate frequentemente. | Disponibile a livello generale per le nuove tabelle nei nuovi schemi. Anteprima pubblica per tutte le tabelle negli schemi esistenti. | 13.3 |
| Clustering liquido automatico | Organizza automaticamente i dati della tabella in base alle colonne sottoposte a query frequenti per migliorare le prestazioni delle query senza partizionamento manuale. | Disponibile a livello generale per le nuove tabelle nei nuovi schemi. Anteprima pubblica per le nuove tabelle negli schemi esistenti. Gli aggiornamenti automatici per questa funzionalità ignorano le tabelle esistenti. | 13.3 |
| Catalogo dei commit | Centralizza i commit in Unity Catalog per consentire transazioni su più tabelle, migliorare l'interoperabilità per le scritture esterne e applicare criteri di governance tra motori diversi. | Anteprima pubblica per tutte le tabelle in tutti gli schemi. | 16.4 |
| Mapping delle colonne | Consente di rinominare ed eliminare colonne senza riscrivere i dati. | Anteprima pubblica per tutte le tabelle in tutti gli schemi. | 15.3 |
La disponibilità delle funzionalità può variare in base all'area.
Requirements
- L'ambiente di calcolo serverless deve essere disponibile nell'area.
- Le tabelle devono essere tabelle gestite dal catalogo Unity in formati Delta Lake o Apache Iceberg.
Osservare le funzionalità abilitate
Per verificare se gli aggiornamenti automatici sono attivati su una funzionalità di una tabella, cercare un'operazione SET TBLPROPERTIES nella scheda Cronologia in Esplora cataloghi o usare DESCRIBE HISTORY <table_name>. Se gli aggiornamenti automatici hanno eseguito l'operazione, il campo nome utente mostra un valore hash anziché un nome utente, ad esempio 4d137f29-62. Vedere Che cos'è Esplora cataloghi? e Visualizza cronologia tabelle.
Dopo l'aggiornamento automatico, attivare le funzionalità nelle tabelle in un nuovo schema, visualizzare le impostazioni predefinite dello schema nella scheda Proprietà in Esplora cataloghi. Ad esempio, uno schema con rilevamento delle righe attivato mostra una proprietà, catalog.schema.enableRowTracking: "true"ad esempio . Gli schemi esistenti non hanno proprietà di osservabilità degli aggiornamenti automatici.
Gestire le funzionalità consigliate
Gli amministratori possono gestire il comportamento e le operazioni degli aggiornamenti con vari controlli.
Annulla le modifiche
Usare RESTORE per ripristinare i dati e i metadati di una tabella a una versione prima dell'attivazione della funzionalità:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Per altre informazioni sulla cronologia e sul ripristino delle tabelle, vedere Ripristinare una tabella in uno stato precedente .
Disattivare le funzionalità per le tabelle
Per disattivare una funzionalità in una singola tabella:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
Gli aggiornamenti automatici non attivano di nuovo una funzionalità dopo averlo disattivato manualmente.
Limitations
- Le tabelle condivise da Delta Lake Sharing, sia da Databricks a Open che da Databricks a Databricks, vengono escluse dagli aggiornamenti automatici. Si veda Che cos'è Delta Sharing?.
- Gli aggiornamenti automatici non dispongono di un meccanismo di rollback batch per disattivare una funzionalità in tutte le tabelle di un account. Vedere Gestire le funzionalità consigliate per gli aggiornamenti automatici.
- Le viste materializzate e le tabelle di streaming non sono supportate.
- I carichi di lavoro che ignorano Il catalogo unity e accedono direttamente alle tabelle in base al percorso non vengono rilevati dagli aggiornamenti automatici. Se i carichi di lavoro usano l'accesso basato sul percorso, contattare il team dell'account per discutere la compatibilità.
- Le tabelle esterne sono in genere accessibili dal percorso del file, ignorando il catalogo Unity e con carichi di lavoro non verificati da client esterni. Il catalogo unity non è in grado di tenere traccia di questi modelli di accesso in modo affidabile, quindi le tabelle esterne vengono escluse dagli aggiornamenti automatici. Consultare Lavorare con tabelle esterne.