Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
[Denna artikel är en förhandsversion av dokumentationen och kan komma att ändras.]
Temangruppsrelaterade användarfrågor som utlöser generativa svar. Genom att klustra relaterade frågor hjälper teman dig att organisera kundinsikter, identifiera vanliga ämnen och fokusera på områden som behöver förbättras. Du kan utforska enskilda frågor inom ett tema och övervaka prestanda för att förstå mått på temanivå.
Viktigt!
Den här artikeln innehåller Microsoft Copilot Studio förhandsversionsdokumentation och kan komma att ändras.
Förhandsversionsfunktioner är inte avsedda för produktionsanvändning och kan ha begränsade funktioner. Funktionerna är tillgängliga före den officiella publiceringen så att du kan få tidig tillgång och ge feedback.
Om du skapar en produktionsklar agent, se översikten över Microsoft Copilot Studio.
Förslag på nyckelvärde
Funktionen Teman analyserar automatiskt alla oklassificerade frågor som utlöste generativa AI-svar under den senaste veckan och föreslår teman baserat på den här analysen. Den här processen körs varje vecka. Mellan veckovisa temaförslagskörningar utför funktionen daglig klassificering av nya frågor som utlöser generativa AI-svar och lägger till dessa data i temamåtten. Listan med föreslagna teman uppdateras regelbundet så att dina teman förblir relevanta och återspeglar de senaste användardata. Den här automatiska uppdateringen sparar tid genom att:
- Utvärdera temarelevans mot nya data kontinuerligt.
- Klassificera enskilda frågor automatiskt i teman.
- Att automatisera hämtning av metrikdata för varje tema.
- Beräkna aggregerade måttdata för varje tema.
Förutsättningar
För att få ut mesta möjliga av funktionen Teman, inklusive möjligheten att visa varje temas komponentfrågor och svar:
Du behöver säkerhetsrollen Bot Transcript Viewer för att visa listan och dess mått. Endast administratörer kan bevilja den här rollen genom att tilldela säkerhetsrollen Bot Transcript Viewer under agentdelningen.
Inställningarna på miljönivå för lagring av konversationsavskrifter i Dataverse är aktiverade.
Föreslagna teman och klassificerade frågor
Copilot Studio föreslår teman baserat på poster med frågor som ställts under den senaste tiden. Genom att skräddarsy varje föreslaget tema för att passa organisationens struktur- och kundupplevelsestrategi kan du få bättre insikt genom temaspecifika nyckeltal (KPI:er). Den här djupare kornigheten gör det lättare att hitta var agenter underpresterar.
Teman hjälper skapare att förstå vilka frågor användarna ställer till agenten och hur agenten presterar. Vid den första körningen av temabaserad analys tittar Copilot Studio på alla frågor från den senaste veckan och föreslår upp till 10 teman som grupperar användarfrågor baserat på likheter med varandra. Varje tema innehåller mått som det totala antalet frågor, svarsfrekvens och användarreaktion. Den valda analysperioden justerar de data som visas i listan Teman .
Efter den första körningen klassificerar Copilot Studio nya frågor till befintliga teman löpande, dagligen, och genererar en ny lista över föreslagna teman varje vecka.
Anmärkning
- Minst 50 frågor med generativa svar måste loggas under de senaste sju dagarna innan Copilot Studio genererar föreslagna teman.
- En fråga som utlöser ett generativt AI-svar kan klassificeras i mer än ett tema. Det här scenariot kan bli vanligare i generativt orkestreringsläge , där ett agentsvar kan komma från flera olika källor.
- Alla frågor som förblir oklassificerade placeras i ett oklassificerat tema.
- Det kan ta några minuter att genomföra den veckovisa körningen av förslag. Under den här tiden är avsnittet Teman inte tillgängligt för användning.
Temalistan
Som standard visar listan Teman de fem främsta temana, rangordnade efter totalt antal frågor som klassificerats till varje tema. Välj Visa alla för att expandera listan och visa alla teman.
Med automatiska veckovisa temaförslagskörningar och daglig frågeklassificering utvecklas funktionen Teman automatiskt och anpassas till ändringar i användarbeteendet.
Listan Teman visar mätvärden för varje listat tema.
| Kolumn | Description |
|---|---|
| Namn | Temats namn. |
| Totalt antal frågor | Totalt antal frågor som har klassificerats i det här temat för den konfigurerade tidsperioden. |
| Besvarade frågor | Andel av totalt antal frågor som resulterar i ett svar på användarfrågan. |
| Svarskvalitet | Andelen av summan av alla svar (baserat på ett urval av frågor) som har ett kvalitativt Good svar. |
| Reaktioner | Råantal positiva (tummen upp) och negativa (tummen ner) reaktioner från frågorna som klassificeras till varje tema. |
Håll muspekaren över ett tema för att se Utvärdera-knappen . Läs mer om utvärdering.
Anmärkning
Varför finns det "obesvarade frågor" i mitt tema när alla klassificerade frågor utlöste generativa AI-svar?
Per definition kan endast frågor som utlöser ett generativt AI-svar klassificeras i ett tema. Men att utlösa ett anrop till generativa svar är inte detsamma som att ha ett svar på en användarfråga.
Det är till exempel vanligt att det finns ett konversationshöjande ämne som är kopplat till en kunskapskälla. I det här fallet, om en avsikt inte identifieras, kan ämnet utlösas som anropar kunskapskällan även om det inte finns något svar på frågan i den kunskapskällan.
Gräva djupare i ett tema
Viktigt!
För att få åtkomst till funktioner för ökad detaljnivå måste båda följande vara sanna:
Följande miljöinställningar är aktiverade:
- Tillåt agentägare och -redigerare att visa sessionstranskriptioner från konversationsinteraktioner hos sina agenter.
- Tillåt att konversationsavskrifter och tillhörande metadata sparas i Dataverse.
Mer information finns i Konfigurera avskriftsinställningar för en enda miljö.
Säkerhetsrollen Bot Transcript Viewer tilldelas användaren. Mer information finns i Lägga till användare i en säkerhetsroll.
Om du vill öka detaljnivån för frågorna som är grupperade i ett tema väljer du temat i listan Teman . När du ökar detaljnivån öppnas en panel som är specifik för det valda temat och visar mått på nivåerna för både temat och enskilda frågor.
Anmärkning
Listan över Teman innehåller:
- De senaste 100 frågorna som har klassificerats i varje tema.
- Frågor från de senaste 30 dagarna, oavsett den konfigurerade tidsperioden. Om den konfigurerade perioden är helt utanför de senaste 30 dagarna visar Copilot Studio ett meddelande om att listan inte är tillgänglig.
I ett temas panel för ökad detaljnivå visas mått på temanivå först.
| Mått på temanivå | Description |
|---|---|
| Totalt antal frågor | Totalt antal frågor som klassificerats i det här temat som utlöste generativa AI-svar för den konfigurerade tidsperioden. |
| Besvarade frågor | Andel av det här temats totala frågor som resulterade i ett svar på användarfrågan. |
| Obesvarade frågor | Andel av det här temats totala frågor som inte resulterade i ett svar på användarfrågan. |
| Reaktioner | Råantal positiva (tummen upp) och negativa (tummen ner) reaktioner från frågor som klassificerats under det här temat, enligt Learn Feedback-mekanismen. |
Om du vill visa en uppdelning av svarskvaliteten för ett urval av besvarade frågor och alla refererade kunskapskällor i det här temat väljer du Se information.
Om du vill se mer information om ett enskilt svarskvalitetsvärde på temanivå håller du muspekaren över ett enskilt stapelsegment under Svarskvalitet på panelen Temamått. Knappbeskrivningen innehåller värdet för segmentets relativa viktning och antalet frågor som ingår i urvalet för att komma fram till det värdet.
För att se mer information på nivån för någon av de listade kunskapskällorna i temat, under Kunskapskälla användning, välj en individuell kunskapskälla. Knappbeskrivningen innehåller:
- Det totala antalet frågor som refererade till denna kunskapskälla samt antalet reaktioner av typen tummen upp och tummen ner.
- Ett staplat stapeldiagram som visar uppdelningen av kvaliteten på svaren med relativa viktningar för frågor som refererar till den här kunskapskällan. Håll muspekaren över ett segment i stapeldiagrammet för att se värdet för segmentets relativa viktning och antalet frågor som samplas för att komma fram till det värdet.
En temabaserad frågelista visar alla frågor som utlöste generativa AI-svar och klassificerades i det här temat och visar mått per fråga .
Mått på frågenivå är:
| Dimension eller mått på frågenivå | Description |
|---|---|
| Fråga (dimension) | Fråga som utlöste ett generativt AI-svar som klassificerats till det här temat. |
| Svarade? | Svar på frågan om användarfrågan har besvarats eller inte. Möjliga värden är Answered och Unanswered. |
| Svarskvalitet1 | Svar på frågan om vilken kvalitet svaret på användarfrågan var. Möjliga värden är Poor och Good. |
| Reaktion | Två parametrar är ett Boolesk mått för tummen upp/tummen ned och en textbaserad kommentarparameter. |
| Datum | Datum då frågan ställdes. |
| Kunskapskälla | Kommaavgränsad lista över kunskapskällor som refereras av denna fråga i detta tema. |
1 Svarskvaliteten är inte alltid tillgänglig och visas bara om frågan har samplats för kvalitetsanalys.
Om du vill kan du utföra följande åtgärder på sidan med temaspecifika frågelistor:
- Använd mer filtrering för att begränsa listan med frågor ytterligare med hjälp av listans dimensionsfilter.
- Utvärdera de listade frågorna enligt kriterier som du definierar i utvärderingens testmetod.
- Ladda ned de listade frågorna som en .csv fil.
Välj en fråga i listan om du vill visa mer information om frågan i en panel med frågeinformation . Den här panelen innehåller:
| Detaljerad parameter på frågenivå | Description |
|---|---|
| Tidsstämpel | Tidsstämpel för den senaste gången då frågan besvarades. |
| Användarfråga | Frågan som ställdes. |
| Svar | Svaret från den generativa AI:n. |
| Tumme upp/Tumme ned-värde | Värde för den senaste förekomsten av den här frågan för parametern Thumbs up/Thumbs down. |
| Comment | Valfri extra textbaserad kommentar, som tillhandahålls av användaren, utöver tummen upp / tummen ner-reaktionen . |
| Svarskvalitet1 | Svar på frågan om vilken kvalitet svaret på användarfrågan var. Möjliga värden är Poor och Good. |
| Orsak2 | Om svarskvaliteten är Poorförklarar den här parametern varför. |
1 Svarskvaliteten är inte alltid tillgänglig och visas bara om frågan har samplats för kvalitetsanalys.
2 Om svarskvaliteten är Good eller om frågan inte samplades har parametern Reason inte något värde.
Utvärdera din agents svar utifrån temat
Anmärkning
När du väljer Utvärdera för ett tema som visas på sidan Teman skapar du en ny testuppsättning på temanivå. Testuppsättningen innehåller alla frågor som är klassificerade till det temat, upp till 100 frågor. Om du vill använda mer filtrering i listan med frågor måste du först öka detaljnivån för temat innan du skapar en utvärderingstestuppsättning. Använd sedan filtrering i listan. När du har tillämpat all önskad filtrering väljer du Utvärdera på sidan med frågelistor.
Du kan testa agentens svar på frågor som rör ett tema med hjälp av agentutvärdering (förhandsversion).
Temabaserade utvärderingar testar specifika delar av din agents omfattning. Till exempel, om du har en kundtjänstagent kan du spåra svarkvaliteten för fakturerings- och betalningsfrågor separat från andra användningsfall som felsökning.
Lär dig mer om hur du skapar testset utifrån ett tema.
