Lakehouse in tempo reale

Lakehouse Real-Time (Lakehouse//RT) è un ambiente di calcolo serverless creato per casi d'uso a bassa latenza e concorrenza elevata, ad esempio la gestione di dati analitici in applicazioni personalizzate, l'esecuzione di analisi operative o la potenza dei dashboard di BI che richiedono risposte secondarie per centinaia a migliaia di utenti simultanei.

Lakehouse//RT offre una latenza inferiore al secondo per le query SQL di lettura sulle tabelle di Unity Catalog che utilizzano i formati Delta Lake o Apache Iceberg nell'archiviazione cloud. È possibile creare e gestire Lakehouse//RT in modo analogo ad altri warehouse SQL. Un amministratore dell'area di lavoro o un utente con privilegi crea uno o più per area di lavoro e assegna le autorizzazioni agli utenti.

Requisiti

Per usare Lakehouse//RT, è necessario:

• Trovarsi in un'area supportata.
• Abilitare la versione beta Lakehouse/RT nell'area di lavoro.

Abilitare Lakehouse//RT nell'area di lavoro

Gli amministratori dell'area di lavoro possono abilitare la versione beta Lakehouse//RT nell'area di lavoro:

1. Nel menu dell'area di lavoro (in alto a destra), vai a Anteprime.
2. Cerca Lakehouse RT.
3. Abilitare l'anteprima.

Dopo aver abilitato l'anteprima, il tipo di warehouse in tempo reale diventa disponibile nel flusso di creazione di SQL Warehouse per l'area di lavoro.

Crea un warehouse Lakehouse//RT

Per creare un warehouse Lakehouse//RT:

1. Vai a Compute>SQL Warehouses>Create SQL Warehouse.
2. Selezionare In tempo reale.
3. Selezionare una dimensione: Small, Medium, Large o X-Large, a seconda delle prestazioni richieste dalle query.
4. Immettere un nome per il magazzino.
5. Clicca su Crea.

Per assegnare le autorizzazioni, concedi Can use, Can monitor o Can manage a utenti e gruppi, come per un warehouse SQL.

Monitorare l'attività Lakehouse//RT

È possibile monitorare le query Lakehouse//RT allo stesso modo di qualsiasi altra query eseguita su un SQL warehouse:

• Cronologia query: Le query Lakehouse/RT vengono visualizzate nell'interfaccia utente della cronologia query e nella tabella di sistema della cronologia query.
• Profili di query: Aprire una query Lakehouse/RT nell'interfaccia utente della cronologia query per visualizzarne il profilo di query.
• Pagina Monitoraggio: Monitorare la velocità effettiva delle query, le query in coda e la cronologia delle query nella pagina di monitoraggio per ogni warehouse Lakehouse/RT.
• Fatturazione: L'utilizzo di Lakehouse/RT viene visualizzato nelle tabelle di sistema di fatturazione con un sku_name di Lakehouse_Serverless.

Procedure consigliate

Per ottenere i risultati migliori da Lakehouse//RT, preparare i carichi di lavoro prima di spostarli:

• Convalida prima in SQL serverless. Eseguite le query su un SQL warehouse serverless e confermate che vengano eseguite in pochi secondi.
• Usare le tabelle gestite di Unity Catalog. Le tabelle gestite con ottimizzazione predittiva e clustering liquido assicurano che i dati siano ben raggruppati per i modelli di carico di lavoro.
• Verificare che le query siano selettive. Per una latenza inferiore al secondo, verificate che le query scansionino quantità minori di dati. Filtrare in anticipo con clausole WHERE, selezionare solo le colonne necessarie e fare affidamento sulle aggregazioni. L'unione tra tabelle è supportata, ma se la query diventa complessa o lenta, è consigliabile usare viste materializzate che preaggregino i dati per latenze più veloci.
• Verificare la copertura SQL. Lakehouse//RT supporta solo query di lettura conformi ad ANSI. Verificare che i carichi di lavoro siano conformi ad ANSI ed evitare le istruzioni, le funzioni e i tipi di dati non supportati elencati in Limitazioni.

Funzionalità supportate

Strumenti e interfacce

È possibile selezionare Lakehouse//RT dal selettore di calcolo in una delle funzionalità di Azure Databricks seguenti:

• Editor di SQL
• Notebook SQL
• Dashboard di intelligenza artificiale/BI
• Esploratore di cataloghi
• Alerts

Tipi di tabella

Lakehouse//RT interroga solo i dati di Unity Catalog. Per ottenere prestazioni ottimali, usare le tabelle gestite di Unity Catalog, che forniscono al motore il layout dei dati necessario per una bassa latenza.

Lakehouse//RT supporta i tipi di tabella seguenti:

• Tabelle gestite (tabelle Delta Lake e Apache Iceberg)
• Viste materializzate e tabelle di streaming
• Visualizzazioni delle metriche

Connectivity

Lakehouse//RT accetta solo connessioni che usano l'API esecuzione istruzioni. Non supporta il protocollo legacy Thrift, quindi un driver che si connette senza usare esplicitamente l'API di esecuzione delle istruzioni riceve un errore 501.

È possibile connettersi a un magazzino Lakehouse//RT nei modi seguenti:

• API di esecuzione delle istruzioni: Chiamare l'API direttamente dalle applicazioni esterne. Vedere API di esecuzione delle istruzioni: eseguire SQL nei warehouse.
• Driver SQL di Databricks: I driver seguenti possono connettersi quando vengono configurati per l'uso dell'API di esecuzione delle istruzioni. Punta il percorso HTTP del driver al warehouse Lakehouse//RT, quindi imposta l'opzione seguente:
  • Connettore SQL di Databricks per Python: impostare use_kernel=True.
  • Driver SQL di Databricks per Node.js: Impostare useKernel: true.
  • JDBC: Impostare UseThriftClient=0 nell'URL di connessione.

Pricing

Per informazioni sui prezzi, vedere la pagina dei prezzi di Lakehouse Real-Time .

Limitations

Quando una query utilizza una funzionalità non supportata, Lakehouse//RT restituisce un errore che indica il nome della funzionalità. Per eseguire correttamente la query, usare invece un'istanza di SQL Warehouse serverless.

Strumenti e funzionalità

Lakehouse//RT non supporta le funzionalità seguenti:

• Genio
• Genie Spaces
• Attività dei job

Tipi di tabella

I tipi di tabella seguenti non sono supportati durante la versione beta:

• Tabelle di sistema
• Tabelle Delta Sharing
• Tabelle nell'archiviazione predefinita del catalogo Unity
• Tabelle esterne nel catalogo unity

Lakehouse//RT non supporta i tipi di tabella seguenti:

• Tabelle del metastore Hive (gestite o esterne)
• Tabelle esterne e federazione delle query (Lakehouse Federation)
• Tabelle temporanee
• Tabelle che usano altri formati di dati (CSV, JSON, Avro, Parquet, ORC e testo)

Driver e connettori

Lakehouse//RT non supporta i driver e i connettori seguenti:

• ADBC
• ODBC
• Go

Linguaggio SQL

Lakehouse//RT esegue query di lettura SQL solo in modalità ANSI .

Lakehouse//RT non supporta quanto segue:

• Tipi di dati: Tipi GEOGRAPHY di dati e GEOMETRY .
• Funzioni: Funzioni di intelligenza artificiale, UDF Python, funzioni SQL spaziali e funzioni XPath e XML.
• Governance: Controllo degli accessi basato su attributi (ABAC), inclusi la sicurezza a livello di riga e il mascheramento delle colonne.

Lakehouse//RT è solo per le query di lettura (SELECT). I comandi di scrittura ed ETL non sono supportati, tra cui:

• Operazioni di scrittura:INSERT , UPDATEDELETE, MERGE, e CREATE TABLE AS SELECT (CTAS).
• DDL:CREATE, ALTER, DROPe altre istruzioni che creano o modificano oggetti.
• Istruzioni di sicurezza:GRANT e REVOKE.
• Creazione di script, stored procedure, tabelle temporanee e transazioni a più istruzioni.
• Manutenzione di Delta Lake:OPTIMIZE, ANALYZE, VACUUM, e REFRESH.

Sicurezza di rete

Lakehouse//RT non è supportato con le configurazioni di rete seguenti:

• collegamento privato in uscita (serverless)
• Perimetro di sicurezza della rete di Azure

• Controllo del traffico in uscita serverless

Compliance

I profili di sicurezza di conformità non sono supportati.

Problemi noti

• Lakehouse//RT applica un controllo del tipo SQL più rigoroso rispetto ad altri tipi di sql warehouse. Le query che combinano tipi diversi, ad esempio confrontando stringhe e numeri o usando COALESCE con tipi incompatibili, possono comportarsi in modo diverso o non riuscire. Per evitare risultati imprevisti, usare espressioni esplicite CAST .