Creare e gestire i servizi modello

Questa pagina descrive come creare, condividere e gestire i servizi modello in Unity Catalog.

Requirements

• Anteprima del Gateway di Intelligenza Artificiale Unity abilitata per l'account. Vedere Gestire le anteprime di Azure Databricks.
• Un'area di lavoro Azure Databricks in un'area Unity AI Gateway supportata.
• Catalogo Unity abilitato per l'area di lavoro. Vedere Abilitare un'area di lavoro per il Catalogo Unity.
• Per creare un servizio modello, è necessario disporre di:
  • USE CATALOG, USE SCHEMAe CREATE SERVICE nel catalogo e nello schema in cui si crea il servizio modello.
  • EXECUTE in ogni modello a cui fa riferimento il servizio modello come destinazione.
  • USE CATALOG, USE SCHEMAe CREATE TABLE nel catalogo e nello schema in cui viene creata la tabella di inferenza, se si abilita la registrazione dell'inferenza.

Creare un servizio modello

È possibile creare un servizio modello nell'interfaccia utente del gateway di intelligenza artificiale Unity o in Esplora cataloghi.

Usare l'interfaccia utente

1. Eseguire una delle operazioni seguenti:
   • Nella barra laterale dell'area di lavoro fare clic su Gateway di intelligenza artificiale e quindi su Crea.
   • In Esplora cataloghi passare allo schema in cui si vuole creare il servizio modello, quindi fare clic su Crea>servizio modello.
2. Immettere un nome per il servizio modello e selezionare il catalogo e lo schema in cui crearlo. Se si inizia da Esplora cataloghi, Esplora cataloghi precompila il catalogo e lo schema.
3. Seleziona il modello primario da servire tra i modelli ospitati da Databricks su cui disponi di EXECUTE e che Unity AI Gateway può servire.
4. Clicca su Crea.

Dopo aver creato il servizio modello, Azure Databricks apre la relativa pagina di panoramica, in cui è possibile iniziare o configurare funzionalità aggiuntive, ad esempio la registrazione dell'inferenza.

Concedere l'accesso a un servizio modello

Per consentire ad altri utenti di eseguire query su un servizio di modello, concedi loro EXECUTE sul servizio di modello e USE CATALOG e USE SCHEMA sul relativo catalogo e schema. Se il servizio modello accede a una tabella di inferenza, concedere SELECT alla tabella per consentire loro di leggere le richieste e le risposte registrate.

GRANT USE CATALOG ON CATALOG main TO ai_team;
GRANT USE SCHEMA ON SCHEMA main.default TO ai_team;
GRANT EXECUTE ON MODEL SERVICE main.default.team_chat TO ai_team;

-- Optional: grant access to the inference table
GRANT SELECT ON TABLE main.logging.team_chat_payload TO ai_team;

Per altre informazioni su come concedere e individuare l'accesso, vedere governare i servizi del modello.

Configurare le funzionalità in un servizio modello

È possibile configurare funzionalità come limiti di frequenza, logging dell'inferenza e barriere di protezione nel servizio del modello dall'interfaccia utente di Unity AI Gateway, nello stesso modo in cui le si configura su un endpoint di Unity AI Gateway. Vedere:

• Configurare gli endpoint del gateway di intelligenza artificiale Unity
• Configurare i limiti di frequenza per i servizi di intelligenza artificiale usando Unity AI Gateway
• Monitorare i servizi del modello usando le tabelle di inferenza

Registrazione delle inferenze

Quando si abilita la registrazione dell'inferenza, Azure Databricks crea una nuova tabella del catalogo Unity vuota con uno schema predefinito nella posizione specificata. Tenere presente quanto segue:

• È necessario disporre di USE CATALOG, USE SCHEMA e CREATE TABLE sul catalogo e sullo schema di destinazione.
• L'autore del servizio modello è il proprietario della tabella di inferenza. Nessun altro utente ha accesso a meno che non lo conceda.
• Se una tabella esiste già nella posizione specificata, la creazione del servizio modello ha esito negativo.
• La tabella di inferenza ha un ciclo di vita indipendente dal servizio modello. Se si elimina la tabella, il servizio del modello continua a funzionare ma smette di registrare i log.

Per altre informazioni sulle tabelle di inferenza, vedere Monitorare i servizi del modello usando le tabelle di inferenza.

Eliminare un servizio modello

Per eliminare un servizio modello, è necessario disporre almeno del MANAGE privilegio. Il proprietario ha un sovrainsieme di MANAGE.

DROP MODEL SERVICE main.default.team_chat;

I servizi modello forniti dal sistema in system.ai non possono essere eliminati.

Passaggi successivi

• Servizi modello
• Eseguire query sui servizi del modello
• Individuare e gestire l'accesso ai servizi del modello
• Configurare gli endpoint
• Integrazione con agenti di codifica