Freigeben über

Überwachen von KI-Agents mit Application Insights

Die Ansicht "Agent-Details " in Application Insights bietet eine einheitliche Oberfläche für die Überwachung von KI-Agents über mehrere Quellen hinweg, einschließlich Microsoft Foundry, Copilot Studio und Drittanbieter-Agents.

Dieses Feature konsolidiert Telemetrie und Diagnose, sodass Kunden die Agentleistung nachverfolgen, die Nutzung und Kosten von Token analysieren, Fehler beheben und das Verhalten Ihres Agents optimieren können.

Hinweis

Azure Monitor Agent Observability basiert auf OpenTelemetry Generative AI Semantics.

Voraussetzungen

Bevor Sie die Detailansicht "Agents" verwenden können, müssen Sie die Sammlung von KI-Agent-Daten implementieren.

Überwachen von KI-Agenten

Zugreifen auf die Ansicht "Agent-Details"

Sobald Telemetrie zu Application Insights fließt:

  1. Wechseln Sie im Azure-Portal zu Ihrer ressource Application Insights.

  2. Wählen Sie im Navigationsmenü "Agents" (Vorschau) aus.

    Screenshot, der zeigt, wie Sie auf die Agent-Details-Oberfläche gelangen.

Hinweis

Sie können auch über Foundry zur Ansicht "Agent-Details" gelangen. Wechseln Sie von Ihrem Agent zur Registerkarte Monitoring und wählen Sie dann View in Azure Monitor aus.

Untersuchen von Protokollspuren

So können Sie einen Drilldown in bestimmte Agentausführung durchführen:

  1. Wählen Sie eine aus der Ansicht "Agent-Details" aus:

    • Ablaufverfolgungen mit Agentausführungen anzeigen – Alle Agentausführungen anzeigen
    • Ablaufverfolgungen mit Gen AI-Fehlern – Fokus auf fehlerhaften oder problematischen Ausführungen
    • Jedes einzelne Toolaufruf oder -modell in den Kacheln " Toolaufrufe " oder "Modelle "

    Screenshot, der zeigt, wie Die Suche in der Agent-Detailoberfläche geöffnet wird.

    Die Suchüberlagerung zeigt gefilterte Spuren, die Ihrer Auswahl entsprechen.

  2. Verwenden Sie die Suchfunktionen, um:

    • Sortieren Sie Traces nach Metriken wie am häufigsten verwendete Token, um kostspielige Vorgänge zu identifizieren.
    • Filtern nach Zeitraum zum Isolieren bestimmter Vorfälle
    • Durchsuchen von Eingabeaufforderungsinhalten (wenn die Protokollierung vertraulicher Daten aktiviert ist)

  3. Wählen Sie eine beliebige Ablaufverfolgung aus, um zur Ansicht End-to-End-Transaktionsdetails für eine umfassende Analyse zu gelangen.

    Ein Screenshot zeigt das Suchüberlagerungsfenster in der Agent-Detailansicht.

End-to-End-Transaktionsdetailsansicht

Die End-to-End-Transaktionsdetails bieten jetzt eine einfache Ansicht. In dieser Ansicht werden Agent-Schritte auf klare, erzählerische Weise dargestellt, einschließlich des aufgerufenen Agents, des zugrunde liegenden großen Sprachmodells (LLM), der ausgeführten Tools und weiterer Details.

Mit der einfachen Ansicht können Sie die relevante Telemetrie schnell finden und zu Foundry oder anderen Tools wechseln, um die erforderlichen Änderungen vorzunehmen.

Hinweis

Um zur herkömmlichen Ansicht zurückzukehren, wählen Sie in der oberen Aktionsleiste die Option "Einfache Ansicht verlassen " aus.

Screenshot der Detailansicht der End-to-End-Transaktion.

In unserem Beispiel untersuchten wir die häufige Verwendung von Tokens. Transaktionsdetails ermöglichen es Ihnen, zu erkennen, dass ein umfangreicher Aufforderungskontext und/oder ein teures Modell die Tokennutzung und -kosten in die Höhe treiben.

Anpassen von Überwachungsansichten mit Grafana

Die Ansicht "Agent-Details" in Application Insights bietet eine meinungsfreie Erfahrung für die Überwachung Ihrer KI-Agents. Für erweiterte Anpassungs- und Visualisierungsanforderungen können Sie in Grafana in der oberen Navigationsleiste in der Ansicht "Agent-Details" die Option "Erkunden" auswählen.

Azure Monitor enthält vorgefertigte Grafana-Dashboards, die für die Gen-KI-Überwachung entwickelt wurden, um Ihnen bei den ersten Schritten zu helfen:

  • Agent-Framework - Überwachen der Agentausführung und -leistung
  • Agent Framework-Workflow – Nachverfolgen von Agent-Workflowmustern und Abhängigkeiten
  • Gießerei- Visualisieren Sie Gießerei-spezifische Metriken und Telemetrie

Screenshot des Grafana-Dashboards beim Überwachen von KI-Agents.

Diese Dashboards dienen als Ausgangspunkt für Ihre Überwachungsstrategie. Sie können sie anpassen, indem Sie:

  • Verwenden unterschiedlicher Visualisierungsbereiche, um Ihren Vorlieben zu entsprechen
  • Bearbeiten oder Erstellen neuer Abfragen zum Anzeigen bestimmter Metriken
  • Mit "Speichern als" maßgeschneiderte Dashboards für Ihre spezielle Umgebung und Anwendungsfälle erstellen.

Weitere Informationen zur Verwendung von Grafana mit Application Insights finden Sie unter Dashboards mit Grafana in Application Insights und Use Azure Monitor Dashboards with Grafana.

Nächste Schritte

  • Weitere Informationen zur Funktionsweise der Korrelation in Application Insights finden Sie unter Telemetriekorrelation.
  • Erkunden Sie die End-to-End-Transaktionsdiagnoseoberfläche, bei der die serverseitigen Telemetriedaten von allen Ihren mithilfe von Application Insights überwachten Komponenten in einer gemeinsamen Ansicht korreliert werden.
  • Last updated on