Servizi per modelli in Unity Catalog

Un servizio di modello è un oggetto proteggibile di Unity Catalog che rappresenta un endpoint LLM governato. I servizi dei modelli consentono di definire, condividere e governare centralmente l'accesso agli LLM in Unity Catalog, insieme ai tuoi dati e tra diverse aree di lavoro.

Durante la versione beta, i servizi modello supportano quanto segue:

• Modelli di base con pagamento per token ospitati da Databricks, come servizi forniti dal sistema in system.ai e come servizi creati.
• Creazione e gestione dei servizi modello con l'interfaccia utente del gateway di intelligenza artificiale Unity, Esplora cataloghi e l'API REST del catalogo Unity.
• Interrogazione dei servizi di modello in più aree di lavoro, sia all'interno che all'esterno di Azure Databricks.

Che cos'è un servizio modello?

Un servizio modello si trova in uno schema del catalogo Unity e fa riferimento a uno o più modelli serviti come destinazioni, con routing e fallback tra di essi. I chiamanti richiamano il servizio modello in base al nome completo e Unity AI Gateway instrada ogni richiesta a un modello di destinazione.

Poiché un servizio di modello è un oggetto di Unity Catalog a cui è possibile applicare controlli di accesso, esso:

• Si trova in un catalogo e in uno schema, in cui eredita le impostazioni dello schema, ad esempio le associazioni dell'area di lavoro.
• Contiene metadati standard del catalogo Unity, ad esempio nome, proprietario, commento e tag.
• È disciplinato dai privilegi del catalogo Unity, in modo da concedere l'accesso usando le stesse GRANT istruzioni e REVOKE usate per tabelle, funzioni e modelli.
• È individuabile in Esplora cataloghi, insieme al resto degli asset del catalogo Unity.

Lo stesso servizio del modello appare anche come endpoint nella UI di Unity AI Gateway, dove i team AI possono configurare funzionalità come limiti di richieste, tabelle di inferenza e meccanismi di protezione. Per saperne di più su queste funzionalità, consulta Governance dell'IA con Unity AI Gateway.

Perché gestire i moduli LLMs nel catalogo unity?

Gli endpoint del gateway di intelligenza artificiale Unity creati in un'area di lavoro hanno come ambito tale area di lavoro. Per condividere un endpoint tra aree di lavoro, è necessario duplicarlo in ogni area di lavoro e gestire ogni copia separatamente.

I servizi di modello spostano la governance nel catalogo unity, in modo da poter:

• Definire un endpoint LLM una sola volta e usarlo da qualsiasi area di lavoro collegata allo stesso metastore.
• Gestire l'accesso centralmente usando i privilegi del catalogo Unity, anziché le autorizzazioni per area di lavoro.
• Scopri i modelli disponibili per te in tutte le aree di lavoro da un'unica posizione.
• Tenere traccia dell'utilizzo e dei costi per i servizi modello nelle tabelle di sistema del catalogo Unity.

Servizi modello forniti dal sistema

Azure Databricks fornisce un servizio modello pronto per l'uso nello system.ai schema per ogni modello di base ospitato da Databricks, ad esempio system.ai.databricks-claude-opus-4-6. Azure Databricks aggiunge nuovi servizi del modello di sistema man mano che diventano disponibili nuovi modelli di base.

I servizi modello forniti dal sistema presentano le caratteristiche seguenti:

• Per impostazione predefinita, tutti gli utenti dell'account dispongono dei EXECUTE privilegi, in modo da poter eseguire query senza alcuna configurazione aggiuntiva.
• Un utente di sistema li possiede e non è possibile eliminarli.
• Per impostazione predefinita, solo gli amministratori del metastore possono modificarli. Un amministratore del metastore può delegare la gestione tramite la concessione del privilegio MANAGE.

Per limitare l'accesso ai servizi modello forniti dal sistema, vedere Gestire i servizi del modello.

Privilegi

I servizi modello usano il modello di privilegio standard del catalogo Unity. Si applicano i privilegi seguenti:

Quando un utente esegue una query su un servizio modello, Azure Databricks verifica che il proprietario disponga EXECUTE dei modelli a cui si fa riferimento (diritti del definitore). Il chiamante non necessita dell'accesso diretto ai modelli sottostanti.

Limitations

Le funzionalità seguenti non sono disponibili durante la versione beta:

• Modelli con velocità di trasmissione provisionata e provider di modelli esterni.
• Creazione e gestione dei servizi modello con Terraform o SQL.
• Individuazione dei servizi modello con solo i BROWSE privilegi.
• Tracciabilità e ricerca globale per i servizi del modello.

Passaggi successivi

• Creare e gestire i servizi modello
• Eseguire query sui servizi del modello
• Individuare e gestire l'accesso ai servizi del modello
• Configurare gli endpoint
• Integrazione con agenti di codifica