Criar e gerir serviços modelo

Esta página descreve como criar, partilhar e gerir serviços modelo no Unity Catalog.

Requirements

• Pré-visualização do Unity AI Gateway ativada para a sua conta. Ver Gerir as pré-visualizações de Azure Databricks.
• Um espaço de trabalho Azure Databricks numa região suportada por Unity AI Gateway.
• Unity Catalog ativado para o seu espaço de trabalho. Consulte Habilitar um espaço de trabalho para o Unity Catalog.
• Para criar um serviço modelo, deve ter:
  • USE CATALOG, USE SCHEMA e CREATE SERVICE no catálogo e no esquema onde cria o serviço de modelo.
  • EXECUTE em cada modelo que o serviço de modelos referencia como destino.
  • USE CATALOG, USE SCHEMA e CREATE TABLE no catálogo e no esquema onde a tabela de inferência é criada, caso ative o registo de inferência.

Criar um serviço modelo

Pode criar um serviço modelo na interface do Unity AI Gateway ou no Explorador de Catálogos.

Usar a interface do usuário

1. Proceda de uma das seguintes formas:
   • Na barra lateral do espaço de trabalho, clique em AI Gateway e depois em Criar.
   • No Explorador de Catálogo, vai ao esquema onde queres criar o serviço de modelo e depois clica em Criar>serviço de Modelo.
2. Introduza um nome para o serviço de modelo e selecione o catálogo e o esquema para o criar. Se começares pelo Explorador de Catálogos, o Explorador de Catálogos prepreenche o catálogo e o esquema.
3. Selecione o modelo principal a disponibilizar, de entre os modelos alojados na Databricks nos quais tem EXECUTE ativado e que o Unity AI Gateway pode disponibilizar.
4. Clique em Criar.

Depois de criar o serviço de modelo, o Azure Databricks abre a sua página de visão geral, onde pode começar ou configurar funcionalidades adicionais, como registo de inferências.

Conceder acesso a um serviço modelo

Para permitir que outros consultem um serviço modelo, conceda-lhes EXECUTE no serviço modelo e USE CATALOGUSE SCHEMA no seu catálogo e esquema. Se o serviço de modelo registar dados numa tabela de inferência, conceda SELECT na tabela para lhes permitir ler os pedidos e as respostas registados.

GRANT USE CATALOG ON CATALOG main TO ai_team;
GRANT USE SCHEMA ON SCHEMA main.default TO ai_team;
GRANT EXECUTE ON MODEL SERVICE main.default.team_chat TO ai_team;

-- Optional: grant access to the inference table
GRANT SELECT ON TABLE main.logging.team_chat_payload TO ai_team;

Para saber mais sobre como conceder e descobrir acessos, veja governar serviços de modelo.

Configurar funcionalidades num serviço modelo

Configuras funcionalidades como limites de taxa, registo de inferências e guardrails no serviço de modelos a partir da interface do Unity AI Gateway, da mesma forma que as configuras num endpoint do Unity AI Gateway. See:

• Configurar limites de taxa para serviços de IA usando o Unity AI Gateway
• Monitorizar serviços de modelos usando tabelas de inferência

Registo de inferência

Quando ativas o registo de inferências, o Azure Databricks cria uma nova tabela vazia do Unity Catalog com um esquema pré-definido no local que especificas. Tenha em atenção o seguinte::

• Tem de ter USE CATALOG, USE SCHEMA e CREATE TABLE no catálogo e no esquema de destino.
• O criador do serviço modelo é o proprietário da tabela de inferência. Nenhum outro utilizador tem acesso a menos que o concedas.
• Se uma tabela já existir na localização especificada, a criação do serviço modelo falha.
• A tabela de inferência tem um ciclo de vida independente do serviço modelo. Se eliminares a tabela, o serviço do modelo continua a funcionar, mas deixa de registar.

Para mais informações sobre tabelas de inferência, consulte Monitorizar serviços de modelos usando tabelas de inferência.

Eliminar um serviço modelo

Para eliminar um serviço modelo, deve ter pelo menos o MANAGE privilégio sobre ele. O proprietário tem um superconjunto de MANAGE.

DROP MODEL SERVICE main.default.team_chat;

Os serviços modelo fornecidos pelo sistema em system.ai não podem ser eliminados.

Passos seguintes

• Serviços modelo
• Serviços de modelo de consulta
• Descubra e regule o acesso a serviços modelo
• Integrar com agentes de codificação