Analysieren Ihres Agents mit benutzerdefinierten Metriken (Vorschau)

[Dieser Artikel ist eine Vorabdokumentation und kann geändert werden.]

Verwenden Sie natürliche Sprache, um bis zu drei benutzerdefinierte Metriken zu definieren, die Copilot Studio erstellen sollen. Passen Sie die benutzerdefinierten Metriken Ihres Agents an, um die Agentergebnisse und die geschäftlichen Auswirkungen auf Konversationsnachrichten zu messen. Benutzerdefinierte Metriken werden basierend auf den Transkriptionen von Agentnachrichten berechnet, einschließlich Inhalten, die in Nachrichten in adaptiven Karten gesendet werden.

Zeigen Sie Ihre benutzerdefinierten Metriken grafisch als beschriftete Donut-Diagramme unter benutzerdefinierten Metriken auf der Analyseseite an.

Wichtigstes Wertversprechen

Dieses Feature verwendet KI, um eine Eingabeaufforderung zu erstellen, die Ergebnisse einer benutzerdefinierten Metrik berechnet, die Sie mithilfe natürlicher Sprache definieren. Die Metrik gilt für eine Stichprobe von Nachrichtendaten aus Unterhaltungen (Sitzungsdaten). Sie können die Metrik optimieren und iterieren, bevor Sie sie in Ihrem Agenten speichern. Erstellen Sie bis zu drei benutzerdefinierte Metriken pro Agent. Sie können Metriken testen, indem Sie Beispielsitzungsdaten verwenden und Ergebnisse mithilfe von integrierter Logik überprüfen. Anschließend können Sie die Metriken verfeinern, um ergebnisse und geschäftliche Auswirkungen besser widerzuspiegeln.

Erstellen einer benutzerdefinierten Metrik

1. Wählen Sie auf der Analyseseite Ihres Agents über der Zusammenfassungskartebenutzerdefinierte Metriken aus.

   

2. Beschreiben Sie in "Erstellen einer benutzerdefinierten Metrik", was Sie in einfacher Sprache messen möchten, in Bezug auf die Ergebnisse, die Sie in allen Unterhaltungen nachverfolgen möchten.

   

3. Fügen Sie für jedes mögliche Ergebnis, das Sie für die von Ihnen definierte Metrik festlegen möchten, eine Ergebniskategorie hinzu, und beschreiben Sie, wie die KI erkennen soll, wann dieses Metrikergebnis auftritt.

   Note

   • Für jede Metrik können Sie bis zu 10 Ergebniskategorien definieren.
   • Alle nicht übereinstimmenden Sitzungsergebnisse werden der Standardkategorie "Sonstige" zugeordnet.

4. Wählen Sie Weiteraus.

   Die KI verwendet Ihre Metrik- und Ergebnisbeschreibungen sowie die vorhandenen Metadaten Ihres Agents, um eine Eingabeaufforderung zu erstellen. Die Eingabeaufforderung berechnet die Ergebnisse der neuen Metrik basierend auf Sitzungsdaten. Die Kachel der neuen benutzerdefinierten Metrik wird auf der Registerkarte "Vorschau " angezeigt.

5. Vorschau und Überarbeitung der Eingabeaufforderung Ihrer benutzerdefinierten Metrik. Die Eingabeaufforderung wird verwendet, um die benutzerdefinierten Metrikergebnisse zu berechnen.

Bearbeiten einer benutzerdefinierten Metrik

1. Wählen Sie auf der Analyseseite Ihres Agents die drei Punkte (...) auf der benutzerdefinierten Metrikkachel aus, die Sie bearbeiten möchten, und wählen Sie dann "Bearbeiten" aus.

2. Auf "Benutzerdefinierte Metrik erstellen" können Sie bei Bedarf beliebige der folgenden Einstellungen bearbeiten:

   • Wie das Geschäftsergebnis definiert ist, unter Was möchten Sie messen?.
   • Eine der Ergebniskategorien, einschließlich der Änderung des Texts einer Kategorie oder löschen einer Kategorie.
   • Fügen Sie eine neue Ergebniskategorie hinzu, indem Sie "Kategorie hinzufügen" auswählen.

3. Wählen Sie "Weiter" und dann " Metrik speichern" aus.

4. Vorschau und Überarbeitung der Eingabeaufforderung Ihrer benutzerdefinierten Metrik. Die Eingabeaufforderung wird verwendet, um die benutzerdefinierten Metrikergebnisse zu berechnen.

Vorschau und Überarbeitung der Eingabeaufforderung Ihrer benutzerdefinierten Metrik

Verwenden Sie die benutzerdefinierte Vorschaufunktion für Metriken, um die Aufforderung ihrer Metrik zu optimieren. Beim Testen Ihrer benutzerdefinierten Metrik im Panel 'Erstellen einer benutzerdefinierten Metrik' greift die Metrik auf Daten aus einer Stichprobe von bis zu 20 Sitzungen zurück.

1. Wählen Sie auf der ersten Seite von Benutzerdefinierte MetrikWeiter aus.

2. Wählen Sie "Vorschau" aus, um anzuzeigen, wie Ihre benutzerdefinierte Metrik aussieht, wenn sie grafisch auf einer Kachel angezeigt wird.

   

3. Wählen Sie "Ergebnisse " aus, um eine Liste der Ergebnisse für die stichprobenierten Daten und eine Beschreibung der Gründe der KI für jedes Ergebnis anzuzeigen.

   

4. Bewerten Sie, ob die Gründe und Ergebnisse korrekt sind.

5. Wählen Sie "Eingabeaufforderung" aus, um eine Beschreibung des KI-Verständnisses darüber anzuzeigen, was die benutzerdefinierte Metrik messen und berechnen soll und mit welchen Ergebniskategorien. Die Registerkarte "Eingabeaufforderung " bietet Transparenz und Einblicke in die zugrunde liegende Logik, um die Ergebnisse zu generieren.

   

6. Wenn Sie Ihre Eingabeaufforderung optimieren möchten, um genauere oder relevantere Ergebnisse zu erzielen, nehmen Sie Anpassungen an den Eingaben vor, die Sie anfänglich auf der ersten Seite des Bereichs "Erstellen eines benutzerdefinierten Metrikbereichs " bereitgestellt haben. Testen Sie dann die angepasste Eingabeaufforderung mit den Beispieldaten erneut.

7. Wählen Sie Metrik speichern aus.

   Die neue benutzerdefinierte Metrikkachel wird auf der Analyseseite unter "Benutzerdefinierte Metriken" angezeigt.

   Nachdem die Metrik erstellt wurde, gibt es eine einmalige Berechnung der Ausgabe der neuen Metrik basierend auf Sitzungsdaten für die letzten sieben Tage. Je nachdem, über wie viele Sitzungen der Agent verfügt, kann es einige Zeit dauern, bis die erste Berechnung abgeschlossen ist. Nach der anfänglichen Berechnung gibt es eine tägliche Berechnung Ihres Metrikergebnisses auf Grundlage der Daten der vergangenen Sitzungen. Die tägliche Berechnung erfolgt nachts in Ihrer Zeitzone und hält Ihre Metrik auf dem neuesten Stand.

   Alle Berechnungen, sowohl anfängliche als auch nächtliche Berechnungen, für benutzerdefinierte Metriken werden für eine Stichprobe der Sitzungen und nicht für alle Sitzungen im Zeitraum ausgeführt.

Löschen einer benutzerdefinierten Metrik

1. Wählen Sie auf der Analyseseite Ihres Agents die drei Punkte (...) auf der benutzerdefinierten Metrikkachel aus, die Sie löschen möchten, und wählen Sie dann "Löschen" aus.

2. Wählen Sie im Bestätigungsdialogfeld "Löschen" aus.