Consultar LLMs e agentes em Azure Databricks

O Azure Databricks oferece múltiplas formas de consultar grandes modelos de linguagem (LLMs), modelos de fundação e agentes implementados. Escolha uma interface interativa, SQL, APIs REST ou bibliotecas de clientes dependendo do seu fluxo de trabalho.

Ambiente de Teste de IA

O AI Playground é um ambiente de chat sem código no seu espaço de trabalho Azure Databricks para enviar prompts e comparar LLMs. Utilize-o para experimentar instruções, ajustar parâmetros como a temperatura e o número máximo de tokens, e criar protótipos de agentes com chamada de ferramentas e bots de perguntas e respostas, lado a lado, antes de passar ao código.

Enriquecer dados usando Funções de IA

Funções de IA são funções SQL integradas que aplicam LLMs e outros modelos aos dados armazenados no Azure Databricks. Execute-os a partir de SQL do Databricks, notebooks, Lakeflow Spark Declarative Pipelines ou Workflows para classificar tickets de suporte, extrair entidades de documentos, resumir conteúdos ou traduzir texto em escala de lote.

Escolha entre dois estilos de funções:

• Funções específicas de tarefa como ai_classify, ai_extract e ai_parse_document são otimizadas para uma única tarefa e utilizam sistemas geridos por Azure Databricks e apoiados por investigação.
• ai_query é a função de propósito geral — forneça o seu próprio prompt e escolha qualquer modelo de fundação suportado. Consultar Usar ai_query.

Para um exemplo de ponta a ponta, veja Analisar avaliações de clientes usando Funções de IA.

Agentes de consulta

Depois de construir e implementar um agente, faça uma consulta ao agente da sua aplicação. Os agentes podem ser alojados no Databricks Apps ou nos endpoints do Mosaic AI Model Serving. O Azure Databricks suporta três métodos de consulta:

• Databricks OpenAI Client — recomendado para novas aplicações, com streaming nativo e suporte completo a funcionalidades.
• API REST compatível com OpenAI — independente da linguagem, funciona com qualquer plataforma que já utilize a API OpenAI.
• ai_query — consultar agentes legados alojados em endpoints de Model Serving a partir de SQL.

Modelos de fundação

Mosaic AI Model Serving aloja modelos de fundação abertos, geridos por Azure Databricks e externos atrás de uma API unificada. Escolha a opção de implementação que se adapte à sua carga de trabalho:

• Pay-per-token — consulte endpoints pré-configurados no seu espaço de trabalho sem compromisso de infraestrutura. Bom para experimentação.
• Throughput provisionado — implementar modelos afinados com serviço otimizado e garantias de desempenho para produção.
• Modelos externos — encaminhar pedidos para fornecedores como a OpenAI ou Anthropic através da governação Azure Databricks.