Guida alla configurazione di Unity Catalog

Questa pagina illustra la configurazione iniziale del catalogo Unity per gli amministratori dell'area di lavoro in una nuova area di lavoro Azure Databricks, tra cui:

• Verifica che l'area di lavoro sia abilitata per Unity Catalog
• Gestione dell'accesso e delle identità dell'area di lavoro
• Creazione di risorse di calcolo conformi al catalogo unity
• Creazione di un catalogo e di uno schema per i dati
• Concedere agli utenti i privilegi necessari

Prima di iniziare

Prima di iniziare, acquisire familiarità con i concetti del catalogo Unity seguenti:

• Metastore: contenitore del catalogo Unity di primo livello, con ambito in una singola area cloud. Contiene tutti gli oggetti proteggibili: cataloghi, credenziali di archiviazione, posizioni esterne e altro ancora. Vedere Metastore.
• Catalogo: oggetto contenitore dati di livello più alto all'interno di un metastore. I cataloghi contengono schemi, che a loro volta contengono tabelle, viste, volumi e funzioni. Vedere Catalogo.
• Ruoli di amministratore: Unity Catalog ha tre ruoli di amministratore principali, amministratore dell'account, amministratore dell'area di lavoro e amministratore metastore, ognuno con un ambito e responsabilità diversi. Consulta Privilegi di amministratore in Unity Catalog.

È inoltre necessario quanto segue:

• Un'area di lavoro Azure Databricks nel piano Premium.
• Privilegi di amministratore dell'area di lavoro . Potrebbero essere necessari privilegi di amministratore dell'account nei casi seguenti:
  • Se l'area di lavoro non dispone ancora di risorse di calcolo, sono necessari privilegi di amministratore dell'account per verificare che Il catalogo unity sia abilitato tramite la console dell'account nel passaggio 1: verificare che l'area di lavoro sia abilitata per Il catalogo Unity.
  • Se l'area di lavoro non è collegata a un metastore del catalogo Unity, sono necessari privilegi di amministratore dell'account per collegarlo.
  • Se un metastore non esiste, sono necessari privilegi di amministratore dell'account per crearlo.

Passaggio 1: Verificare che l'area di lavoro sia abilitata per il catalogo unity

Usare uno dei metodi seguenti per verificare che l'area di lavoro sia collegata a un metastore del catalogo Unity.

Usa la console dell'account

Questo metodo richiede privilegi di amministratore dell'account.

1. Come amministratore di un account Azure Databricks, accedere alla console dell'account.
2. Fare clic Aree di lavoro.
3. Trova la tua area di lavoro e controlla la colonna Metastore. Se è presente un nome di metastore, l'area di lavoro è abilitata per Unity Catalog.

Eseguire una query SQL

Questo metodo non richiede privilegi di amministratore, ma richiede una risorsa di calcolo conforme al catalogo unity. Passaggio 3: Creare risorse di calcolo conformi a Unity Catalog illustra come creare risorse di calcolo conformi a Unity Catalog.

Eseguire il comando seguente nell'editor di query SQL o in un notebook collegato a una risorsa di calcolo:

SELECT CURRENT_METASTORE();

Se la query restituisce un ID del metastore, l'area di lavoro è abilitata per l'uso di Unity Catalog.

Se l'area di lavoro non è abilitata per Unity Catalog, vedere Eseguire l'upgrade di un'area di lavoro di Azure Databricks a Unity Catalog.

Passaggio 2: Gestire l'accesso e le identità dell'area di lavoro

Gli amministratori dell'area di lavoro possono aggiungere utenti e gruppi, assegnare ruoli di amministratore e gestire le entità servizio.

Aggiungere utenti

Aggiungere singoli utenti che devono accedere a questa area di lavoro. Per istruzioni, vedere Gestire gli utenti.

Organizzare gli utenti in gruppi

Databricks consiglia di gestire l'accesso tramite gruppi anziché singoli utenti. La concessione di privilegi a un gruppo li applica a tutti i membri, riducendo così il sovraccarico amministrativo man mano che il team cresce.

• Se l'organizzazione dispone già di gruppi in un provider di identità (IdP): sincronizzarli con Azure Databricks usando la gestione automatica delle identità o il provisioning SCIM in modo che l'appartenenza al gruppo rimanga sincronizzata automaticamente. Vedere Gestione automatica delle identità.
• Se non si hanno ancora gruppi: come amministratore dell'area di lavoro, creare gruppi a livello di account passando a Impostazioni>Identità e accesso>a Gestisci accanto a Gruppi. Vedere Gestisci i gruppi.

Assegnare i ruoli di amministratore

Gli amministratori dell'area di lavoro possono eseguire la maggior parte delle attività amministrative quotidiane: aggiunta e rimozione di utenti, gestione delle risorse di calcolo, configurazione delle impostazioni dell'area di lavoro e concessione dell'accesso ai dati. Questo ruolo è appropriato per i membri di una piattaforma dati centrale o di un team IT responsabile della gestione dell'area di lavoro. Essere selettivi sugli utenti che ricevono questo ruolo. Gli amministratori dell'area di lavoro hanno accesso ampio alle risorse e alle impostazioni dell'area di lavoro.

In genere, il ruolo di amministratore dell'area di lavoro è l'unico ruolo di amministratore che è necessario assegnare. Facoltativamente, è possibile assegnare gli amministratori del metastore per casi d'uso speciali. Ad esempio, è possibile assegnare questo ruolo a un team di governance dei dati dedicato o a un piccolo gruppo di tecnici della piattaforma senior, se necessario:

• Delegare la creazione del catalogo agli amministratori non dell'area di lavoro.
• Gestisci lo script init e la lista degli elementi JAR consentiti.
• Ricevere dati condivisi tramite la condivisione delta.
• Trasferisci la proprietà dell'oggetto quando un membro del team lascia il team.

Per istruzioni sull'assegnazione di questi ruoli, vedere Privilegi di amministratore nel catalogo unity.

Passaggio 3: Creare un ambiente di calcolo conforme al catalogo Unity

Per eseguire carichi di lavoro del catalogo Unity, le risorse di calcolo devono soddisfare i requisiti di sicurezza del catalogo Unity. La tabella seguente illustra i tipi di calcolo conformi:

Per creare una risorsa di calcolo conforme a UC:

• Warehouse SQL: vedi Creare un warehouse SQL.
• Calcolo serverless: vedere Connettersi al calcolo serverless.
• Cluster: quando si configura un cluster, selezionare Utente singolo o Condiviso come modalità di accesso. Vedere Modalità di accesso.

In qualità di amministratore dell'area di lavoro, è possibile limitare la creazione del cluster solo agli amministratori o usare i criteri del cluster per consentire agli utenti di creare i propri cluster conformi al catalogo Unity. Vedere Autorizzazioni di calcolo e Creare e gestire i criteri di calcolo.

Passaggio 4: Creare cataloghi e schemi

I cataloghi sono l'unità principale di isolamento dei dati in Unity Catalog. Tutti gli schemi, tabelle, volumi, viste e funzioni sono disponibili in cataloghi.

Quando creare un nuovo catalogo

Per le nuove aree di lavoro viene eseguito automaticamente il provisioning con un catalogo dell'area di lavoro — per impostazione predefinita, questo catalogo prende il nome dalla tua area di lavoro. Per verificare se è disponibile un catalogo dell'area di lavoro, fare clic Catalogo nella barra laterale e cercare un catalogo corrispondente al nome dell'area di lavoro. Se esiste, potrebbe non essere necessario creare immediatamente cataloghi aggiuntivi.

Nel corso del tempo, valuta di creare nuovi cataloghi con l'aumentare dell'utilizzo, organizzati in base a confini logici, ad esempio:

• Team o unità aziendali: cataloghi separati per ingegneria, finanza e marketing
• Ambienti: cataloghi separati dev, staginge prod per isolare lo sviluppo dai dati di produzione
• Progetti: un catalogo dedicato per prodotto o iniziativa di dati principali

Se i limiti dei dati dell'organizzazione sono già ben definiti, è ora possibile creare cataloghi.

Creazione di un catalogo

Per creare un catalogo, eseguire il codice SQL seguente.

CREATE CATALOG IF NOT EXISTS <catalog-name>;

Creare quindi uno schema per organizzare le tabelle e altri oggetti dati:

CREATE SCHEMA IF NOT EXISTS <catalog-name>.<schema-name>;

Per istruzioni dettagliate e come usare Esplora cataloghi, vedere Creare cataloghi e creare schemi.

Passaggio 5: Concedere privilegi agli utenti

In Unity Catalog gli utenti non hanno accesso ai dati per impostazione predefinita. Gli amministratori dello spazio di lavoro possono concedere privilegi agli oggetti proteggibili nell'intero spazio di lavoro. Databricks consiglia di concedere privilegi a gruppi anziché a singoli utenti. In questo modo l'accesso risulta più semplice da gestire man mano che il team cresce.

Abilitare l'individuazione dei dati

Azure Databricks consiglia di concedere il privilegio BROWSE al gruppo All account users su tutti i cataloghi. BROWSE consente agli utenti di vedere che gli oggetti esistono e visualizzare i relativi metadati in Esplora cataloghi senza concedere l'accesso ai dati sottostanti. In questo modo gli utenti possono individuare i dati e richiedere l'accesso senza richiedere agli amministratori di concedere le autorizzazioni in modo preemptive.

GRANT BROWSE ON CATALOG <catalog-name> TO `account users`;

Concedere l'accesso ai dati

Per accedere ai dati in Unity Catalog, gli utenti hanno in genere bisogno del privilegio specifico per l'operazione (ad esempio SELECT per leggere una tabella) e i privilegi di utilizzo appropriati (ad esempio USE CATALOG nel catalogo padre e USE SCHEMA nello schema padre). Vedere Concetti relativi al modello di autorizzazioni del catalogo Unity.

Concedere questi privilegi solo agli utenti e ai gruppi che devono accedere a cataloghi e schemi specifici. Ad esempio, per concedere l'accesso in sola lettura a uno schema, usare il codice SQL seguente:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Per l'accesso in lettura/scrittura:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT, MODIFY ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

I modelli di accesso cambiano nel tempo. Usare le pagine seguenti come riferimento per la gestione dei privilegi nel catalogo unity:

• Concetti relativi al modello di autorizzazioni del catalogo Unity: illustra la gerarchia degli oggetti, la proprietà, l'ereditarietà dei privilegi e il funzionamento del modello di autorizzazioni del catalogo Unity.
• Informazioni di riferimento sui privilegi di Catalogo Unity: elenca tutti i privilegi nel catalogo unity, gli oggetti a protezione diretta a cui si applica e gli elementi consentiti.
• Gestire i privilegi nel catalogo unity: illustra come concedere, revocare ed esaminare i privilegi per gli oggetti a protezione diretta usando SQL o Esplora cataloghi.

Impostare l'elenco di controllo:

Se sono stati completati tutti e cinque i passaggi, Unity Catalog viene configurato nell'area di lavoro e gli utenti possono iniziare a usare i dati. Usare l'elenco di controllo seguente per verificare che tutto sia disponibile:

• [ ] Unity Catalog è abilitato, il che significa che un metastore di Unity Catalog è collegato al tuo workspace. Consulta Passaggio 1: Verifica che l'area di lavoro sia abilitata per Unity Catalog.
• [ ] Gli utenti vengono aggiunti all'area di lavoro e hanno ruoli appropriati. Vedere Passaggio 2: Gestire l'accesso e le identità dell'area di lavoro.
• [ ] È disponibile un ambiente di calcolo conforme al catalogo unity. Vedere Passaggio 3: Creare un ambiente di calcolo conforme al catalogo unity.
• [ ] I cataloghi e gli schemi vengono creati per organizzare i dati. Vedere Passaggio 4: Creare cataloghi e schemi.
• [ ] Gli utenti possono accedere ai cataloghi previsti. Vedere Passaggio 5: Concedere privilegi agli utenti.

Passaggi successivi

Con la configurazione di Unity Catalog, è possibile iniziare ad applicare funzionalità di governance più avanzate all'area di lavoro.

Controllo di accesso basato su attributi

Il controllo degli accessi in base all'attributo consente di definire criteri di accesso dinamici e con granularità fine in base agli attributi dei dati e all'utente che vi accede. Anziché gestire la tabella delle autorizzazioni per tabella, si scrivono criteri che applicano automaticamente il filtro a livello di riga e la maschera a livello di colonna. Ad esempio, è possibile nascondere colonne sensibili da utenti esterni a un'area specifica o mascherare le informazioni personali per i ruoli senza privilegi.

Classificazione dei dati

La classificazione dei dati usa un agente di intelligenza artificiale per analizzare automaticamente il catalogo e contrassegnare dati sensibili, ad esempio informazioni personali, informazioni finanziarie e credenziali. Dopo la classificazione, i tag possono integrarsi direttamente con i criteri ABAC, consentendo di applicare controlli di governance in base a ciò che i dati contengono effettivamente, anziché gestire l'accesso oggetto per oggetto.

Monitoraggio della qualità dei dati

Il monitoraggio della qualità dei dati fornisce il rilevamento anomalie in tutte le tabelle di uno schema e la profilatura dei dati a livello di tabella. Il rilevamento anomalie monitora automaticamente l'aggiornamento e la completezza usando modelli di dati cronologici, verificando problemi senza configurazione manuale. La profilatura dei dati acquisisce distribuzioni statistiche nel tempo, consentendo di tenere traccia dell'integrità dei dati e impostare avvisi per modifiche impreviste.

Governance dell'intelligenza artificiale con Unity AI Gateway

Unity AI Gateway estende la governance di Unity Catalog all'IA. Fornisce una governance a livello aziendale per endpoint e agenti LLM, nonché server MCP, consentendo di implementare il controllo degli accessi, la registrazione degli audit e l'osservabilità in tutte le interazioni di IA tramite un'unica interfaccia utente.