Überwachung der Agentengesundheit und -leistung in Ihrer Flotte

Da Ihre Organisation von isolierten Copiloten bis hin zu autonomen Multi-Agent-Flotten skaliert wird, wird die Aufrechterhaltung der Sichtbarkeit und Kontrolle entscheidend. Microsoft Foundry Control Plane bietet ein einheitliches Befehlscenter, in dem Sie alle Agents, Modelle und Tools in Ihrem Unternehmen von Build zu Produktion überwachen können.

Flottenüberwachung dient mehreren Rollen:

• Teammanager gewinnen die Kontrolle über Agentenvorgänge und teamproduktivität.
• Administratoren erzwingen Governancerichtlinien und verfolgen den Compliancestatus.
• Kostenmanager optimieren Ausgaben und identifizieren Ressourcenineffizienzen.
• Sicherheitsteams überwachen auf verbotene Verhaltensweisen und Richtlinienverletzungen.

In diesem Artikel erfahren Sie, wie Sie die Funktionen der Foundry Control Plane verwenden, um die Agentengesundheit, Leistung, Compliance und Kosteneffizienz in großem Maßstab nachzuverfolgen. Mithilfe der zentralisierten Überwachung können Sie Probleme frühzeitig erkennen, den Ressourcenverbrauch optimieren und sicherstellen, dass Ihre KI-Systeme sicher und zuverlässig funktionieren.

Voraussetzungen

• Ein Azure Konto mit einem aktiven Abonnement. Wenn Sie kein Konto haben, erstellen Sie ein free Azure Konto, das ein kostenloses Testabonnement enthält.

• Ein Foundry-Projekt. Wenn Sie kein Projekt haben, erstellen Sie ein Projekt.

• Die folgenden Berechtigungen:
  • Lesezugriff auf das Projekt und das Abonnement, für das Sie Daten anzeigen möchten
  • Rolle Log Analytics-Leser oder höher für die Application Insights Ressource, die mit Ihrem Agent verbunden ist
  • Rolle "Kostenmanagement-Leser"

Funktionsweise der Überwachung

Foundry Control Plane erkennt alle Agents, auf die Sie zugreifen können. Es verwendet die Application Insights-Ressourcen, die Ihre Agents hosten, um die Überwachung und Diagnose dieser Agents zu erleichtern.

Foundry Control Plane unterstützt:

Da die Foundry-Steuerungsebene Informationen zu Ressourcen innerhalb des Abonnements aggregiert, werden unterschiedlichen Benutzern je nach Zugriff möglicherweise verschiedene Agents angezeigt.

Foundry Control Plane aggregiert Protokolle und Metriken, die für jede Application Insights-Ressource verfügbar sind, die mit jedem Agent verbunden ist.

Foundry Control Plane erfordert, dass Agents Diagnoseinformationen protokollieren, indem sie OpenTelemetry-Standards mit semantischen Konventionen für generative KI-Anwendungen folgen. Sie müssen application Insights nicht für jede Ressource konfigurieren, dies wird jedoch dringend empfohlen. Wenn die Steuerebene über diese Daten verfügt, kann sie Folgendes liefern:

• Flotten-Integritätsmetriken: Verfolgen Sie aktive Agents, Ausführungsabschlussraten und Fehlertrends in Ihrer gesamten Flotte.
• Kosten- und Leistungsnachverfolgung: Überwachen der Tokennutzung, des Budgetverbrauchs und der Ressourceneffizienz über alle Agents hinweg.
• Anomalieerkennung: Identifizieren Sie Kostenspitzen, Leistungsbeeinträchtigungen und neue Probleme durch Trendanalyse.
• Drill-Down-Analyse: Wechseln Sie von Flottenmetriken zu einzelnen Abläufen und Protokollen der Agenten zur detaillierten Untersuchung.

Konfigurieren der Überwachung

Führen Sie die folgenden Schritte für jedes Projekt aus, in dem Sie die Überwachung konfigurieren möchten:

1. Melden Sie sich bei Microsoft Foundry an. Stellen Sie sicher, dass die Umschaltfläche "Neue Gießerei " aktiviert ist. Diese Schritte beziehen sich auf Foundry (neu).

   

2. Wählen Sie auf der Symbolleiste "Ausführen" aus.

3. Wählen Sie im linken Bereich "Administrator" aus.

4. Geben Sie unter "Alle Projekte" im Suchfeld Ihren Projektnamen ein.

5. Wählen Sie das Projekt aus.

6. Wählen Sie die Registerkarte "Verbundene Ressourcen " aus.

7. Stellen Sie sicher, dass eine zugeordnete Ressource für die Kategorie "AppInsights" vorhanden ist.

   

8. Wenn keine zugeordnete Ressource vorhanden ist, fügen Sie eine hinzu, indem Sie "Verbindung hinzufügen" und dann "Application Insights" auswählen.

   Tipp

   Sie können Ablaufverfolgungen je nach Governance und Sicherheitsanforderungen an verschiedene Application Insights-Ressourcen oder an dieselbe Ressource senden.

Ihr Projekt ist jetzt für Beobachtbarkeit und Nachverfolgung konfiguriert. Um zu überprüfen, ob die Überwachung aktiv ist, wechseln Sie im Findry-Portal zu "Betriebsübersicht>", wählen Sie Ihr Projekt aus der Dropdownliste aus, und vergewissern Sie sich, dass agent-Metriken im Dashboard angezeigt werden. Metriken benötigen möglicherweise einige Minuten, um nach der Erstkonfiguration sichtbar zu werden.

Anzeigen von Metriken

Sie können aggregierte Metriken für alle Agents innerhalb eines ausgewählten Projekts mithilfe von Foundry anzeigen. Der Übersichtsbereich bietet Einblicke in Flottenintegritäts-, Compliance- und Leistungstrends.

1. Melden Sie sich bei Microsoft Foundry an. Stellen Sie sicher, dass die Umschaltfläche "Neue Gießerei " aktiviert ist. Diese Schritte beziehen sich auf Foundry (neu).

   

2. Wählen Sie auf der Symbolleiste "Ausführen" aus.

3. Überprüfen Sie die Metriken, die im Bereich "Übersicht " angezeigt werden, in dem allgemeine Metriken und Einblicke für alle ermittelten Agents im Abonnement standardmäßig angezeigt werden.

   

4. Wählen Sie in der Dropdownliste des Projekts ein Projekt aus, um die Metriken ggf. zu beschränken.

5. Wählen Sie einen Datumsbereich mithilfe der Datumsmarkierer in der oberen rechten Ecke aus.

Im Bereich "Übersicht " werden Integritätsbewertungen auf Flottenebene, Warnungszusammenfassungen, Anzahl aktiver Agent, Fehlerraten und Compliancemetriken für den ausgewählten Zeitraum angezeigt. Verwenden Sie diese Ansicht, um den Betriebszustand Ihrer Flotte schnell zu bewerten und Bereiche zu identifizieren, die Aufmerksamkeit benötigen.

Anzeigen einzelner Agentmetriken

Sie können alle Ihre Vermögenswerte in einem bestimmten Projekt zusammen mit übergeordneten Metriken in Foundry anzeigen.

1. Melden Sie sich bei Microsoft Foundry an. Stellen Sie sicher, dass die Umschaltfläche "Neue Gießerei " aktiviert ist. Diese Schritte beziehen sich auf Foundry (neu).

   

2. Wählen Sie auf der Symbolleiste "Ausführen" aus.

3. Wählen Sie im linken Bereich "Objekte" aus.

4. Wählen Sie die Registerkarte "Agents " aus.

   

   Auf der Registerkarte werden die Details der Agents angezeigt, die im Rahmen des Abonnements ermittelt wurden. Um mehr über diese Details zu erfahren, sehen Sie Agentinventar.

5. Wenn Sie detailliertere Informationen zur Leistung eines einzelnen Agents anzeigen möchten, wählen Sie einen Agent aus. Der angezeigte Bereich bietet schnelle Einblicke in die Gesundheit und die jüngste Aktivität des ausgewählten Agents. Verwenden Sie sie, um Probleme zu identifizieren und Korrekturmaßnahmen zu ergreifen.

   

   Der Bereich enthält die folgenden Abschnitte:

   • Aktive Warnungen: Anzeigen von Richtlinien-, Sicherheits- und Auswertungswarnungen nach Schweregrad und Ergreifen von Maßnahmen.
   • Aktivität: Sehen Sie sich wichtige Metriken an, z. B. fehlerrate im Laufe der Zeit, Gesamtlaufinformationen und Informationen zur Tokenverwendung.

Weitere Informationen zum Verwalten einzelner Agents finden Sie unter "Verwalten von Agents im großen Maßstab".

Fehlerbehebung bei der Überwachung

Wenn im Dashboard keine erwarteten Metriken oder Agents angezeigt werden, überprüfen Sie die folgenden allgemeinen Ursachen:

• Agents werden nicht im Bereich "Ressourcen" angezeigt: Stellen Sie sicher, dass Sie Lesezugriff auf das Abonnement und das Projekt haben, in dem die Agents bereitgestellt werden. Unterschiedliche Benutzer sehen je nach Zugriffsebene unterschiedliche Agents.
• Metriken sind leer oder fehlen: Vergewissern Sie sich, dass die Application Insights-Ressource mit dem Projekt verbunden ist (siehe Konfigurieren der Überwachung). Metriken können mehrere Minuten dauern, bis sie nach der ersten Verbindung aufgefüllt werden.
• Integritätsmetriken oder Ablaufverfolgungen sind für einen bestimmten Agent nicht verfügbar: Der Agent wird möglicherweise auf einer Ressource ausgeführt, ohne dass Application Insights konfiguriert ist. Verbinden Sie eine Application Insights-Ressource mit dem Projekt des Agenten, um Gesundheitsdaten und Drilldown-Ablaufverfolgungen zu ermöglichen.
• Kostendaten werden nicht angezeigt: Vergewissern Sie sich, dass Sie über die Rolle " Kostenverwaltungsleser " im Abonnement verfügen.

Verwandte Inhalte

• Was ist die Microsoft Foundry Control Plane?
• Verwalten von Agents im großen Maßstab
• Registrieren und Verwalten von benutzerdefinierten Agents