LLM tool

Warning

El desarrollo de características prompt Flow finalizó el 20 de abril de 2026. La característica se retirará completamente el 20 de abril de 2027. En la fecha de retirada, Prompt Flow entra en modo de solo lectura. Los flujos existentes seguirán funcionando hasta esa fecha.

Recommended action: Migre las cargas de trabajo de Prompt Flow a Microsoft Agent Framework antes del 20 de abril de 2027.

La herramienta de modelo de lenguaje grande (LLM) en el flujo de mensajes le permite usar modelos de lenguaje de gran tamaño, como OpenAI, Azure OpenAI en Microsoft Foundry Models o cualquier modelo de lenguaje compatible con la API de inferencia de modelos de IA de Azure para el procesamiento de lenguaje natural.

El flujo de mensajes proporciona varias API de modelo de lenguaje grande:

  • Finalización: los modelos de finalización de OpenAI generan texto en función de las indicaciones proporcionadas.
  • Chat: los modelos de chat de OpenAI y los modelos de chat de Azure AI facilitan conversaciones interactivas con entradas y respuestas basadas en texto.

La API embeddings no está disponible en la herramienta LLM. Use la herramienta embedding para generar incrustaciones con OpenAI o Azure OpenAI.

Note

La herramienta LLM en el flujo de mensajes no admite modelos de razonamiento (como OpenAI o1 o o3). Para la integración del modelo de razonamiento, use la herramienta Python para llamar directamente a las API del modelo. Para obtener más información, consulte Call a un modelo de razonamiento de la herramienta Python.

Prerequisites

Cree recursos de OpenAI:

Connections

Configure las conexiones a los recursos aprovisionados en el flujo del mensaje.

Type Name API key API type API version
OpenAI Required Required - -
Azure OpenAI: clave de API Required Required Required Required
Azure OpenAI: Microsoft Entra ID Required - - Required
Serverless model Required Required - -

Tip

Inputs

En las secciones siguientes se muestran varias entradas.

Text completion

Name Type Description Required
prompt string Mensaje de texto para el modelo de lenguaje. Yes
model, deployment_name string Modelo de lenguaje que se va a usar. Yes
max_tokens integer Número máximo de tokens que se van a generar en la finalización. El valor predeterminado es 16. No
temperature float Aleatoriedad del texto generado. El valor predeterminado es 1. No
stop list Secuencia de detención del texto generado. El valor predeterminado es NULL. No
suffix string Texto anexado al final de la finalización. No
top_p float Probabilidad de usar la opción superior de los tokens generados. El valor predeterminado es 1. No
logprobs integer Número de probabilidades de registro que se van a generar. El valor predeterminado es NULL. No
echo boolean Valor que indica si se devuelve el mensaje en la respuesta. El valor predeterminado es false. No
presence_penalty float Valor que controla el comportamiento del modelo para repetir frases. El valor predeterminado es 0. No
frequency_penalty float Valor que controla el comportamiento del modelo para generar frases poco frecuentes. El valor predeterminado es 0. No
best_of integer Número de mejores finalizaciones que se van a generar. El valor predeterminado es 1. No
logit_bias dictionary Sesgo de logit para el modelo de lenguaje. El valor predeterminado es un diccionario vacío. No

Chat

Name Type Description Required
prompt string Mensaje de texto que usa el modelo de lenguaje para una respuesta. Yes
model, deployment_name string Modelo de lenguaje que se va a usar. Este parámetro no es necesario si el modelo se implementa en una implementación estándar. Yes*
max_tokens integer Número máximo de tokens que se van a generar en la respuesta. El valor predeterminado es inf. No
temperature float Aleatoriedad del texto generado. El valor predeterminado es 1. No
stop list Secuencia de detención del texto generado. El valor predeterminado es NULL. No
top_p float Probabilidad de usar la opción superior de los tokens generados. El valor predeterminado es 1. No
presence_penalty float Valor que controla el comportamiento del modelo para repetir frases. El valor predeterminado es 0. No
frequency_penalty float Valor que controla el comportamiento del modelo para generar frases poco frecuentes. El valor predeterminado es 0. No
logit_bias dictionary Sesgo de logit para el modelo de lenguaje. El valor predeterminado es un diccionario vacío. No

Outputs

API Return type Description
Completion string Texto de una finalización prevista
Chat string Texto de una respuesta de conversación

Uso de la herramienta LLM

  1. Configure y seleccione las conexiones a recursos de OpenAI o a una implementación estándar.
  2. Configure la API de modelo de lenguaje grande y sus parámetros.
  3. Prepare el mensaje con instrucciones.
  • Last updated on