Fundição Local

O Foundry Local permite-te executar modelos Microsoft Foundry suportados na tua máquina local, mantendo a experiência padrão do Agent Framework Python Agent.

Observação

O Foundry Local não é atualmente suportado em .NET.

Pré-requisitos

Instale o Foundry Local e os seus componentes de runtime local antes de executar o Agent Framework contra um modelo local. A primeira execução pode demorar algum tempo porque o modelo selecionado pode precisar de ser descarregado e carregado.

Instalação

pip install agent-framework-foundry-local --pre

Configuração

Defina o modelo local predefinido com:

FOUNDRY_LOCAL_MODEL="phi-4-mini"

Também pode passar o modelo explicitamente com FoundryLocalClient(model="phi-4-mini").

Observação

FoundryLocalClient vive no agent_framework.foundry namespace. É um cliente de chat local, por isso normalmente associa-se a um cliente padrão Agentde .

Crie um agente local

import asyncio

from agent_framework import Agent
from agent_framework.foundry import FoundryLocalClient

async def main():
    agent = Agent(
        client=FoundryLocalClient(model="phi-4-mini"),
        name="LocalAgent",
        instructions="You are a helpful local assistant.",
    )
    result = await agent.run("What's the weather like in Seattle?")
    print(result)

asyncio.run(main())

Tools

FoundryLocalClient é um cliente de chat local emparelhado com um standard Agent, pelo que as ferramentas suportadas são aquelas que o modelo local escolhido pode realmente chamar — não são fornecidas por um runtime alojado. Os tipos de ferramentas Foundry alojados (get_code_interpreter_tool, get_web_search_tool, etc.) não estão disponíveis em FoundryLocalClient.

Tool Status Notes
Ferramentas Funcionais ⚠️ Suportado apenas se o modelo local selecionado suportar chamada de função. Use FoundryLocalClient.manager para inspecionar as capacidades dos modelos.
Aprovação de Ferramentas ✅ Fornecido pelo cliente de chat de invocação de funções do framework; Funciona com qualquer chamada de ferramenta funcional.
Intérprete de código ❌ Sem tempo de execução alojado.
Pesquisa de ficheiros ❌ Sem tempo de execução alojado.
Pesquisa na Web ❌ Sem tempo de execução alojado.
Ferramentas MCP Alojadas ❌ Não é exposto pelo tempo de execução local.
Ferramentas MCP Locais ✅ Corre no teu processo e funciona com qualquer cliente de chat.

Capacidades do modelo

Nem todos os modelos locais suportam as mesmas funcionalidades. A chamada de funções e as saídas estruturadas dependem do modelo selecionado. O FoundryLocalClient.manager helper pode ser usado para inspecionar o catálogo local e as capacidades suportadas antes de executar um agente.

Para controlos adicionais em tempo de execução, FoundryLocalClient também suporta opções como device, bootstrap, e prepare_model.

Passos seguintes

Anthropic

  • Last updated on