LLM tool

Warning

Die Entwicklung der Prompt Flow-Funktion endete am 20. April 2026. Das Feature wird am 20. April 2027 vollständig eingestellt. Am Einstellungsdatum wechselt der Eingabeaufforderungsfluss in den schreibgeschützten Modus. Ihre vorhandenen Flüsse werden bis zu diesem Datum weiterhin ausgeführt.

Recommended action: Migrieren Sie Ihre Aufforderungsflussworkloads zu Microsoft Agent Framework vor dem 20. April 2027.

Mit dem Tool für große Sprachmodelle (LLM) im Eingabeaufforderungsfluss können Sie häufig verwendete große Sprachmodelle wie OpenAI verwenden, Azure OpenAI in Microsoft Foundry Models oder einem beliebigen Sprachmodell, das vom Azure KI-Modell inference API für die Verarbeitung natürlicher Sprachen unterstützt wird.

Der Eingabeaufforderungsfluss stellt mehrere apIs für große Sprachmodelle bereit:

  • Abschluss: Die Abschlussmodelle von OpenAI generieren Text basierend auf den bereitgestellten Eingabeaufforderungen.
  • Chat: Die Chatmodelle von OpenAI und die Azure AI Chatmodelle ermöglichen interaktive Unterhaltungen mit textbasierten Eingaben und Antworten.

Die Einbettungs-API ist im LLM-Tool nicht verfügbar. Verwenden Sie das Tool embedding, um Einbettungen mit OpenAI oder Azure OpenAI zu generieren.

Note

Das LLM-Tool im Eingabeaufforderungsfluss unterstützt keine Begründungsmodelle (z. B. OpenAI o1 oder o3). Verwenden Sie aus Gründen der Modellintegration das Python Tool, um die Modell-APIs direkt aufzurufen. Weitere Informationen finden Sie unter Call a reasoning model from the Python tool.

Prerequisites

Erstellen von OpenAI-Ressourcen:

Connections

Richten Sie Verbindungen für bereitgestellte Ressourcen im Eingabeaufforderungsfluss ein.

Type Name API key API type API version
OpenAI Required Required - -
Azure OpenAI – API-Schlüssel Required Required Required Required
Azure OpenAI - Microsoft Entra ID Required - - Required
Serverless model Required Required - -

Tip

Inputs

In den folgenden Abschnitten werden verschiedene Eingaben angezeigt.

Text completion

Name Type Description Required
prompt string Textaufforderung für das Sprachmodell. Yes
model, deployment_name string Zu verwendende Sprachmodell. Yes
max_tokens integer Maximale Anzahl von Token, die im Abschluss generiert werden sollen. Der Standardwert ist 16. No
temperature float Zufälligkeit des generierten Texts. Der Standardwert ist 1. No
stop list Beenden der Sequenz für den generierten Text. Der Standardwert ist NULL. No
suffix string Am Ende des Abschlusses angefügter Text. No
top_p float Wahrscheinlichkeit der Verwendung der obersten Auswahl aus den generierten Token. Der Standardwert ist 1. No
logprobs integer Anzahl der zu generierenden Protokollwahrscheinlichkeiten. Der Standardwert ist NULL. No
echo boolean Wert, der angibt, ob die Eingabeaufforderung in der Antwort zurückgegeben werden soll. Der Standardwert ist "false". No
presence_penalty float Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Der Standardwert ist 0. No
frequency_penalty float Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Der Standardwert ist 0. No
best_of integer Die Anzahl der besten Zugänge, die generiert werden sollen. Der Standardwert ist 1. No
logit_bias dictionary Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. No

Chat

Name Type Description Required
prompt string Textaufforderung, die vom Sprachmodell für eine Antwort verwendet wird. Yes
model, deployment_name string Zu verwendende Sprachmodell. Dieser Parameter ist nicht erforderlich, wenn das Modell in einer Standardbereitstellung bereitgestellt wird. Yes*
max_tokens integer Maximale Anzahl von Token, die in der Antwort generiert werden sollen. Der Standardwert ist "inf". No
temperature float Zufälligkeit des generierten Texts. Der Standardwert ist 1. No
stop list Beenden der Sequenz für den generierten Text. Der Standardwert ist NULL. No
top_p float Wahrscheinlichkeit der Verwendung der obersten Auswahl aus den generierten Token. Der Standardwert ist 1. No
presence_penalty float Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Der Standardwert ist 0. No
frequency_penalty float Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Der Standardwert ist 0. No
logit_bias dictionary Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. No

Outputs

API Return type Description
Completion string Text eines vorhergesagten Abschlusses
Chat string Text einer Antwort einer Unterhaltung

Verwenden des LLM-Tools

  1. Richten Sie die Verbindungen mit OpenAI-Ressourcen oder einer Standardbereitstellung ein, und wählen Sie sie aus.
  2. Konfigurieren Sie die API für große Sprachenmodelle und die zugehörigen Parameter.
  3. Bereiten Sie die Aufforderung mit Anleitungen vor.
  • Last updated on