Analysera konversationsagentens effektivitet

Sidan Analytics i Copilot Studio ger en aggregerad inblick i agentens övergripande effektivitet i analytics-sessioner. Sidan är indelad i kärnområden som fokuserar på olika prestandakontexter. Sidan visar också ett översiktsområde som innehåller KPI-mått (key performance indicator) på hög nivå för din agent, ett sparområde som analyserar tid och kostnadsbesparingar som kan hänföras till din agent eller agentens verktyg och ett sammanfattningsområde som ger viktiga analysinsikter om agentens prestanda.

Mer information om:

• Områdena Sammanfattning och översikt finns i Analysöversikt
• Området Besparingar finns i Analysera tid och kostnadsbesparingar för agenter

Det finns sex kärnområden att fokusera på när du granskar och förbättrar konversationsagentens effektivitet:

• Teman: Teman hjälper dig att få analysinsikter genom att klustra användarfrågor i AI-föreslagna kategorier.
• Konversationsresultat: Genom att känna till slutresultatet av en konversation kan du börja identifiera var din agent lyckas och var den behöver förbättras.
• Agenter: Se samtalsvolymsmått, framgångsfrekvenser och aktuell status för underordnade och anslutna agenter.
• Genererad svarsfrekvens och kvalitet: Förstå när agenten kämpar för att ge svar på användarfrågor och hur den använder kunskapskällor kan hjälpa dig att hitta sätt att förbättra agentens svarsfrekvens och kvalitet.
• Verktygsanvändning: Att lära sig hur ofta verktyg används och hur ofta de lyckas kan hjälpa dig att förstå om dessa verktyg är användbara och framgångsrika för användarna.
• Effektivitet: Genom att granska användarfeedback kan du identifiera nya användarscenarier och problem och göra förbättringar direkt baserat på vad användarna efterfrågar.

Du kan visa analyser för händelser som inträffat under de senaste 90 dagarna.

Konversationens utfall

I avsnittet Konversationsresultat visas ett diagram som spårar typen av resultat för varje session mellan agenten och användarna.

Diagrammet, oavsett om det visas som ett staplat histogram eller ett staplat ytdiagram, visualiserar de relativa volymerna av utfall, färgkodade och staplade efter typ. Var och en av lösta, eskalerade, övergivna och oengagerade representeras av respektive färg för varje datapunkt. Y-axeln anger antalet sessioner.

Om du vill se mått om enskilda resultat som är specifika för en datapunkt (en viss dag) hovrar du över ett område som representerar färgen på ett utfall av intresse (till exempel blågrön för övergiven) den dag du är intresserad av. I exemplet fanns det 90 övergivna sessioner som representerade 35,6 % av alla sessionsresultat den 24 november.

Hovra över någon av utfallsetiketterna i förklaringen under diagrammet för att markera resultatet i diagrammet.

Välj (på eller av) en eller flera av förklaringsetiketterna för att antingen visa eller dölja resultat från det staplade ytdiagrammet. Gör detta för att öka tydligheten i de resultat som kvarstår när:

• Enskilda resultatlinjer visas visuellt nära varandra.
• Du vill se tydligare när trendlinjer trendar positivt eller negativt, men summan av staplade resultat i diagrammet jämnar ut dessa trendlinjer.

I följande exempel togs etiketterna eskalerad och frånkopplad bort från diagrammet. Knappbeskrivningen visar att det fanns 95 övergivna sessioner den 23 november, vilket motsvarar 60,5 % av de återstående synliga resultaten i diagrammet (som är summan av lösta + övergivna resultat).

Om du vill ladda ned konversationsresultatdata (data som visualiserats i diagrammet) väljer du menyikonen och väljer Ladda ned CSV.

Om du vill öppna en sidopanel med detaljerad information om konversationsresultat väljer du Se information i diagrammet. Sidopanelen konversationsresultat innehåller:

• En cirkeldiagramsuppdelning av sessionsresultat som visar relativ viktning (uttryckt som procent) av lösta, eskalerade och övergivna resultat.
• Ett staplat stapeldiagram som visar den relativa viktningen (uttryckt i procent) av lösta bekräftade och lösta underförstådda resultat som beskriver alla lösta sessionsresultat.
• Ett staplat stapeldiagram som visar den relativa viktningen (uttryckt som en procentandel) av System avsett, System oavsiktligt och Användarbegärda utfallsorsaker som beskriver alla eskalerade sessionsresultat.
• De viktigaste ämnena som ledde till varje resultat.

En session hamnar i något av följande två tillstånd:

• Frånkopplad: En session startar när en användare interagerar med din agent eller när agenten skickar ett proaktivt meddelande till användaren. Sessionen börjar i ett icke-aktiverat tillstånd.

• Engagerad: Användaren interagerar aktivt med agenten. Det finns en skillnad i beteende baserat på agentens orkestreringsläge.

  • Klassisk orkestrering: En session aktiveras när något av följande ämnen utlöses.

    • Anpassat ämne som utlöses direkt av användaren
    • Eskaleringsämne
    • Återgångstema
    • Ämne för konversationsförstärkning

  • Generativ AI-orkestrering: En session engageras när en användare direkt utlöser en plan och innehåller något av följande element:

    • Icke-systemämne
    • Eskaleringsämne
    • Återgångstema
    • En kunskapskälla
    • Ett verktyg

En engagerad session har något av följande resultat:

Du kan också ange resultatet för verktyg med parametern conversationOutcome med hjälp av verktygskodredigeraren. Exempel på conversationOutcome: ResolvedConfirmed för bekräftad framgång eller conversationOutcome: ResolvedImplied för underförstådd framgång.

Se vägledningsdokumentationen om att mäta engagemang för förslag och bästa praxis för hur man mäter och förbättrar engagemanget.

Agenter

Listan Agenter visar mått för volym, prestanda och övergripande status för anslutna agenter och underordnade agenter för huvudagenten. Listan identifierar relationstypen som agenten i listan har till huvudagenten i kolumnen Typ. Om en agent är en underordnad agent är dess typ Child. Anslutna agenter har en listad typ som visar var de skapades (till exempel Copilot Studio, Azure AI Foundry). Måttet Anrop för varje listad agent beskriver volymen anrop från huvudagenten till den anslutna eller underordnade agenten. Andel lyckade återspeglar andelen anrop (i procent av alla anrop) som har slutförts. Status anger den enskilda administrativa statusen för varje ansluten och underordnad agent.

Som standard visar listan Agenter de fem främsta anslutna och underordnade agenterna för din huvudagent, rangordnade från högsta till lägsta avseende totalt antal frågor. Om det finns fler än fem agenter väljer du Visa alla för att visa alla agenter.

Genererad svarfrekvens och kvalitet

Med generativa svar kan din agent använda AI för att generera svar på användarfrågor med hjälp av kunskapskällor och de instruktioner du anger. Agenten kanske dock inte kan svara på alla användarfrågor. Avsnittet Genererad svarsfrekvens och kvalitet spårar, organiserar och analyserar obesvarade frågor och svarskvalitet för att ge dig vägledning för att förbättra agentens svarsprestanda.

Svarsfrekvensen visar antalet besvarade och obesvarade frågor inom den valda tidsperioden och procentuell ändring över tid.

Svarskvaliteten mäter kvaliteten på svaren med hjälp av AI. Copilot Studio tittar på en exempeluppsättning med besvarad fråga och analyserar olika kvaliteter, inklusive fullständighet, relevans och nivå av grund för ett svar. Om svaret uppfyller en given standard, etiketterar Copilot Studio svaret som God kvalitet. Copilot Studio märker svar som inte uppfyller den standarden som Poor kvalitet. För Poor svar tilldelar Copilot Studio en orsak till kvalitetsklassificeringen och visar procentandelen svar som tilldelats till varje kategori.

Hovra över ett segment av en stapel i diagrammet för att se den relativa viktningen av en enskild orsak till antingen en bra eller dålig kvalitetsetikett. Knappbeskrivningen anger också antalet svar som har samplats för att komma fram till det beräknade procentvärdet.

Hovra över något av kvalitetsetikettskälen under diagrammet för att markera det skälet i diagrammet.

Välj Se frågor om du vill se en ofiltrerad lista över alla frågor inom den konfigurerade tidsperioden.

Välj Visa information om du vill öppna en sidopanel med svarsfrekvenser för frågor, användning av kunskapskällor och felfrekvenser under den valda tidsperioden. Du kan använda dessa diagram för att identifiera vilka kunskapskällor som fungerar bra för att hjälpa användarna och vilka du ska rikta in dig på för förbättringar.

Om din agent har underordnade agenter väljer du Alla på sidopanelen för att visa mått för både huvudagenten och underordnade agenter, Huvudagenten för endast mått om huvudagenten eller Underordnad agent för endast mått om underordnade agenter.

• Obesvarade frågor visar orsakerna till att agenten inte svarade på en användarfråga.
• Användning av kunskapskälla visar procentandelen sessioner som använde varje kunskapskälla som agenten har åtkomst till.
• Alla källor visar procentandelen frågor som använde varje kunskapskälla.
• Errors visar procentandelen frågor som resulterade i ett kunskapsrelaterat fel för varje typ av kunskapskälla (till exempel SharePoint).

Under Alla källor väljer du en enskild källa för att se mer information på nivån för någon av de angivna kunskapskällorna. Knappbeskrivningen innehåller:

• Det totala antalet frågor som refererade till denna kunskapskälla samt antalet reaktioner av typen tummen upp och tummen ner.
• Ett staplat stapeldiagram som visar uppdelningen av kvaliteten på svaren med relativa viktningar för frågor som refererar till den här kunskapskällan. Hovra över ett segment i stapeldiagrammet för att se värdet för segmentets relativa viktning och antalet frågor som har ingår i urvalet för att komma fram till värdet.

Gå ned på djupet i en lista med agentfrågor

Öka detaljnivån för att visa specifika frågor som bidrog till ett mått och den stödjande kontexten, till exempel hur agenten svarade, hur användarna reagerade och vilka kunskapskällor som var inblandade. Den här vyn ger bättre insikt i svarskvaliteten och hjälper dig att identifiera möjliga luckor i kunskapstäckningen.

Det finns för närvarande stöd för att öka detaljnivån till listan över frågor för följande måttpaneler: Genererad svarsfrekvens och kvalitet och användning av kunskapskälla.

För att gå ner till fönstret med listan av frågor:

• I panelen Genererad svarsfrekvens och kvalitet väljer du Se frågor.
• Hovra över på panelen Genererad svarsfrekvens och kvalitet och välj segmentet Bra eller Dåligt svarsfält.
• I panelen Genererad svarsfrekvens och kvalitet väljer du procentmåttet "Besvarad" eller "Obesvarad" .
• I panelen Använda kunskapskälla väljer du Visa information för att öppna panelen Använda kunskapskälla , välj önskad källa och välj sedan Se frågor i popup-fönstret.

Listan med användarfrågor filtreras baserat på den datapunkt som du har detaljgranskat. Detta återspeglas i standardfilterinställningarna ovanför frågelistan. Om du till exempel väljer segmentet Irrelevant på stapeln Dålig i panelen Kvalitet på genererade svar anges filtret för svarskvalitet till Irrelevant för de listade frågorna.

Om du vill kan du utföra följande åtgärder på listsidan:

• Använd mer filtrering för att begränsa listan med frågor ytterligare med hjälp av listans dimensionsfilter.
• Utvärdera de listade frågorna enligt kriterier som du definierar i utvärderingens testmetod.
• Ladda ned de listade frågorna som en .csv fil.

Listan med frågor visar följande:

Om du vill ha mer information väljer du Visa information om en fråga för att öppna panelen på frågeinformationssidan. Den här panelen ger ytterligare insikter om svarskvaliteten som är associerad med varje fråga.

¹ Svarskvaliteten är inte alltid tillgänglig och visas bara om frågan har samplats för kvalitetsanalys.

² Om svarskvaliteten är Good eller om frågan inte samplades tilldelas parametern Reason inte något värde.

Drilla ner till sessioner

Öka detaljnivån för sessioner för att visa de specifika sessioner som bidrog till ett mått och granska underliggande sessionsdata. Den här djupare vyn hjälper dig att förstå varför och hur bakom agentmått på toppnivå, samt gör det möjligt för dig att identifiera och undersöka potentiella problem.

Använd sessionslistan för att analysera agentprestanda och undersöka genom att undersöka data på sessionsnivå som leder till ett sessionsresultat (resolved, escalated, abandonedeller unengaged). Du kan till exempel filtrera efter kanal, fokusera på låga CSAT-sessioner och sedan öka detaljnivån för sessionsdata för att få insikt i varför kunder i dessa kanaler kan ha en dålig upplevelse.

Så här ökar du detaljnivån till sessionslistefönstret:

• I panelen Konversationsresultat väljer du Visa sessioner för att visa alla sessioner för analysperioden.
• I panelen Konversationsresultat väljer du Se information. Detta öppnar en sidoruta med ytterligare mått för konversationssessionsresultat. Välj en markerad måttritning för att visa en filterlista med sessioner.

Sessionslistan filtreras baserat på den datapunkt som du har detaljgranskat. Detta återspeglas i standardfilterinställningarna ovanför sessionslistan. Om du till exempel inom Konversationsresultat sidopanelet väljer segmentet Löst bekräftad i stapelplattan Lösta resultatorsaker, ställer det in sessionsresultatet och resultatorsaken till löst respektive löst bekräftad.

Om du klickar på någon av sessionerna visas data på sessionsnivå. Listan över sessioner kan filtreras efter Time period, Session outcome, Outcome reasonoch Channel.

Listan över sessionsfönster sorteras efter följande parametrar:

Användning av verktyg

Avsnittet Verktygsanvändning visar ett diagram och mått som spårar hur ofta dina verktyg startas över tid och hur ofta agenten har använt dessa verktyg. Den visar också trendindikatorer för hur ofta din agent använder varje verktyg och procentandelen av de använda verktygen som används framgångsrikt.

Diagrammet visar de fem främsta verktygen som används under datumperioden som definierats överst på analyssidan.

Hovra över något av verktygen i förklaringen under diagrammet för att markera verktyget i diagrammet.

Om du vill öppna en sidopanel med en lista över alla verktyg som används under den angivna tidsperioden, tillsammans med trendindikatorer, väljer du Visa information i diagrammet. På panelen Verktygsanvändning kan du visa beräkningar av procentandelen frågor som används för varje verktyg. Om din agent har underordnade agenter kan du välja att visa beräkningar för både huvudagenten och underordnade agenter (Alla), enbart Huvudagent eller enbart Underordnad agent.

Effektivitet

Avsnittet Effektivitet visar användarfeedback som samlats in från reaktioner, agentsvar, undersökningsresultat och attitydpoäng för en session. Nöjdheten delas upp i många underavsnitt:

• Reaktioner: Användarsvar, inklusive feedback på tummen upp/tummen ned och användarkommentarer för specifika agentsvar.
• Kundnöjdhet: Visa kundnöjdhetspoäng (CSAT).
• Sentiment (förhandsversion): En AI-baserad attitydanalys för hela sessionen.

Feedbackdata lagras i tabellen med konversationstranskriptioner i Dataverse. En lista över kanaler som stöder den här funktionen finns i Funktionsinformation.

Reaktioner

Avsnittet Reaktioner visar användarfeedback som samlats in genom reaktioner på agentsvar och resultaten från enkäter för en session. Diagrammet räknar antalet gånger användarna har valt knapparna tummen upp (positiva) eller tummen ner (negativa) för varje svar de fick från din agent.

När en användare har reagerat kan han eller hon lämna en kommentar. Om du vill visa kommentarer väljer du Se information. På kommentarspanelen för reaktioner , välj All, Tumme upp eller Tumme ner för att filtrera kommentarerna.

För varje reaktion väljer du växlingsknappen bredvid kommentaren för att se den associerade användarfrågan och agentsvaret. På sidan Analys lagras användarfrågor och agentsvar i upp till 28 dagar.

Användarfeedback är På som standard. Du kan inaktivera den här funktionen om du vill. Du kan också lägga till eller redigera en ansvarsfriskrivning för användare om hur deras feedback används:

1. Öppna agenten och gå sedan till Inställningar och leta reda på avsnittet Användarfeedback .

2. Aktivera Låt användarna ge feedback när de använder den här agenten antingen på eller av.

3. Lägg till eller redigera en ansvarsfriskrivning så att användarna vet hur deras feedback används. Du kan också ange sekretessinformation och tips.

Kundtillfredsställelse

Avsnittet Kundnöjdhet visar information om användarnöjdhet baserat på resultat från användarundersökningar:

• Nöjdhetspoäng: En poäng av 5 som beräknas från csat-poängen (genomsnittlig kundnöjdhet) för sessioner där användarna svarade på begäranden i slutet av sessionen för att göra en undersökning.

  Obs!

  Poängen 1 och 2 mappar till Inte nöjd, poängen 3 anses vara neutral och poängen 4 och 5 mappar till Nöjd.

• Tillfredsställelse per session: Ett staplat stapeldiagram som visualiserar den relativa viktningen för varje undersöknings poängkategorier, nämligen Dissatisfied, Neutral, och Satisfied. Håll muspekaren över varje segment i diagrammet för att se storleken på urvalet och det numeriska värdet av viktningen av varje poängkategori.

Välj Visa information för att visa nöjdhetspoängtrenden under den valda tidsperioden.

Sentiment (förhandsversion)

Attitydanalys använder AI för att analysera användarmeddelanden från ett urval av sessioner för att utvärdera en övergripande användarsentiment för agenten. Det numeriska värdet representerar andelen sessioner med negativ användarinställning.

Välj Visa information om du vill visa sentimentdata för relativ viktning för var och en av sentimentkategorierna (som Positive, Neutraloch Negative).