Analysér samtaleagenter

Siden Analytics i Copilot Studio giver en samlet indsigt i agentens overordnede effektivitet på tværs af analytiksessioner. Siden er opdelt i kerneområder, der fokuserer på forskellige ydeevnekontekster. På siden vises også et oversigtsområde, der indeholder målepunkter for nøgletal (Key Performance Indicator) på højt niveau for din agent, et besparelsesområde, der analyserer tids- og omkostningsbesparelser, der kan henføres til din agent eller din agents værktøjer, og et oversigtsområde, der giver vigtig analyseindsigt i din agents ydeevne.

Der er fire kerneafsnit, der skal fokuseres på, når du gennemgår og forbedrer effektiviteten af samtaleagenter.

• I afsnittet Oversigt, Oversigt og Besparelser kan du se vigtige analyseindsigt om dine agenter sammen med statistikker over fakturering og omkostningsbesparelser. Se Oversigt, Oversigt og Besparelser for at få mere at vide om hver undersektion.
• I afsnittet Brugerdefinerede målepunkter kan du definere forretningsspecifikke målepunkter for dine agenters use cases.
• Afsnittet Effektivitet hjælper dig med at evaluere kvaliteten af brugeroplevelser ved at vise, hvor samtaler lykkes, hvor de opdeles, og hvordan brugerne har det med resultater.
• Afsnittet Brug hjælper dig med at forbedre den driftsmæssige ydeevne ved at vise, hvor godt din agent besvarer spørgsmål, hvor pålidelige værktøjer og videnkilder understøtter disse svar, og hvor målrettede opdateringer kan øge dækningen og ensartetheden.

Du kan få vist analyser for hændelser, der er opstået inden for de seneste 90 dage.

Brugerdefinerede metrikker

I afsnittet Brugerdefinerede målepunkter kan du definere op til tre virksomhedsspecifikke målepunkter på et naturligt sprog og spore, hvor ofte hvert resultat vises på tværs af prøvesessioner. Brug disse målepunkter til at supplere din standardanalyseindsigt med indikatorer, der afspejler din agents mål og forretningsanvendelse. Du kan få mere at vide om, hvordan du opretter, tester og forfiner brugerdefinerede målepunkter under Analysér din agent med brugerdefinerede målepunkter.

Effektivitet

Afsnittet Effektivitet viser brugerfeedback, der er indsamlet fra reaktioner, agentsvar, undersøgelsesresultater og synspunktsscore for en session. Effektivitet er opdelt på tværs af mange underafsnit:

• Samtaleresultater: Hvis du kender slutresultatet af en samtale, kan du begynde at identificere, hvor din agent lykkes, og hvor den skal forbedres.
• Reaktioner: Brugerreaktioner, herunder feedback i form af tommel op/tommel ned og brugerkommentarer til specifikke agentsvar.
• Kundetilfredshed: Visning af CSAT-score (kundetilfredshed).
• Synspunkt (prøveversion): En AI-baseret synspunktsanalyse for hele sessionen.
• Agenter: Se målepunkter for opkaldsvolumen, succesrater og aktuel status for underordnede og forbundne agenter.

Feedbackdata gemmes i tabellen med afskrift af samtaler i Dataverse. Du kan finde en liste over kanaler, der understøtter denne funktion, under Funktionsoplysninger.

Samtaleresultater

Afsnittet Samtaleresultater viser et diagram, der sporer resultattypen for hver session mellem din agent og brugerne.

Diagrammet, uanset om det vises som et stablet histogram eller stablet områdediagram, visualiserer de relative mængder resultater, farvekodede og stablede efter type. Hver af Løst, Eskaleret, Afbrudt og Ikke engageret repræsenteres af deres respektive farver for hvert datapunkt. Y-aksen angiver antallet af sessioner.

Hvis du vil se målepunkter for individuelle resultater, der er specifikke for ét datapunkt (en bestemt dag), skal du holde markøren over et område, der repræsenterer farven på et interesseresultat (f.eks. turkis for Afbrudt) på den dag, du er interesseret i.

Hvis du vil downloade data om samtaleresultatet (data visualiseret i grafen), skal du vælge menuikonet og vælge Download CSV.

Hvis du vil åbne et sidepanel med detaljerede oplysninger om samtaleresultater, skal du vælge Se detaljer i diagrammet. Sidepanelet Samtaleresultater indeholder:

• En opdeling som cirkeldiagram af sessionsresultater, der viser relativ vægtning (udtrykt som en procent) af løste, eskalerede og afbrudte resultater.
• Et stablet søjlediagram, der viser den relative vægtning (udtrykt som en procent) af resultatårsagerne Løst bekræftet og Løst underforstået, der beskriver alle løste sessionsresultater.
• Et stablet søjlediagram, der viser den relative vægtning (udtrykt som en procent) af resultatårsagerne Systemtilsigtede, Systemutilsigtede og Brugeranmodet, der beskriver alle eskalerede sessionsresultater.
• De vigtigste emner, der førte til hvert resultat.

En session kan være i en af følgende to tilstande:

• Ikke engageret: En session starter, når en bruger interagerer med din agent, eller agenten sender en proaktiv meddelelse til brugeren. Sessionen starter i en ikke-engageret tilstand.

• Engageret: Brugeren interagerer aktivt med agenten. Der er en forskel i funktionsmåden baseret på agentens orkestreringstilstand.

  • Klassisk orkestrering: En session aktiveres, når et af følgende emner udløses:

    • Brugerdefineret emne, der udløses direkte af brugeren
    • Eskaler problemstilling
    • Tilbagefaldsemne
    • Emne for at styrke samtalen

  • Generativ AI-orkestrering: En session aktiveres, når en bruger udløser en plan direkte og indeholder et af følgende elementer:

    • Ikke-systememne
    • Eskaler problemstilling
    • Tilbagefaldsemne
    • En videnkilde
    • Et værktøj

En engageret session har et af følgende resultater:

Du kan også angive resultatet for værktøjer med conversationOutcome parameteren ved hjælp af værktøjskodeeditoren. Det kan f.eks. være conversationOutcome: ResolvedConfirmed for bekræftet succes eller conversationOutcome: ResolvedImplied for implicit succes.

Se vejledningsdokumentationen om måling af engagement for forslag og bedste praksis til, hvordan man måler og forbedrer engagementet.

Reaktioner

Afsnittet Reaktioner viser brugerfeedback, der er indsamlet fra reaktioner på agentsvar. Diagrammet tæller antallet af gange, brugerne har valgt enten knappen tommel op (positiv) eller tommel ned (negativ), der er tilgængelige for hvert svar, de har modtaget fra din agent.

Funktionen Reaktioner er som standard slået til . Du kan slå denne funktion fra, hvis du ønsker det. Du kan også tilføje eller redigere en ansvarsfraskrivelse til brugere om, hvordan deres feedback bruges:

1. Åbn agenten, gå derefter til Indstillinger, og find afsnittet Brugerfeedback.

2. Slå Indsaml brugerseaktioner til agentmeddelelser enten til eller fra.

3. Tilføj eller rediger en ansvarsfraskrivelse, så brugerne ved, hvordan deres feedback bruges. Du kan også angive oplysninger om beskyttelse af personlige oplysninger og tip.

Brugere med rettigheden Bot Transskriptionsfremviser kan analysere ned til agentsvar for individuelle reaktioner og filtrere efter brugerkommentarer.

Se reaktionstendenser over tid

Vælg Se detaljer om feltet Reaktioner for at åbne panelet Reaktioner . Panelet viser, hvor positive og negative reaktioner (fra tommel op og tommel ned) tendens over tid.

Kundetilfredshed

Afsnittet Kundetilfredshed viser oplysninger om brugertilfredshed baseret på resultaterne af brugerundersøgelsen:

• Tilfredshedsscore: En score ud af 5 beregnet ud fra den gennemsnitlige CSAT-score (Customer Satisfaction) for sessioner, hvor brugerne svarede på anmodninger fra slutningen af sessionen om at tage en undersøgelse.

  Note

  Scorer af typen 1 og 2 knyttes til Utilfreds, en score på 3 anses for at være neutral, og scorer af typen 4 og 5 knyttes til Tilfreds.

• Tilfredshed pr. session: Et stablet søjlediagram, der visualiserer den relative vægtning for hver af undersøgelsens scorekategorier, nemlig Dissatisfied, Neutral, og Satisfied. Hold musen over hvert segment af diagrammet for at se størrelsen på udvalget og den numeriske værdi af vægtningen af hver scorekategori. For brugere med rettigheden Bot Transskriptionsfremviser kan du analysere ned til en liste over kundesessioner , der er filtreret ud fra den del af søjlesegmentet, der er valgt.

Vælg Se detaljer for at få vist tendensen for tilfredshedsscore for den valgte tidsperiode.

Synspunkt (prøveversion)

[Denne sektion er foreløbig dokumentation, og der kan forekomme ændringer.]

Synspunktsanalyse bruger AI til at analysere brugermeddelelser fra et eksempel på sessioner for at evaluere et overordnet brugertillid for agenten. Den numeriske værdi repræsenterer procentdelen af sessioner med negativ brugerstemning.

Vælg Se detaljer for at få vist synspunktsdata for den relative vægtning af hver af synspunktskategorierne (dvs. Positive, Neutralog Negative).

Du kan slå synspunktsanalyse til og fra for din agent under Indstillinger. Når synspunktsanalyse er slået fra, analyseres brugertillid ikke under sessioner.

1. Gå til Indstillinger, og vælg Avanceret.

2. Slå synspunktsanalyse til eller fra.

   

Agenter

Listen Agenter viser målepunkter for mængde, ydeevne og status på højt niveau for forbundne og underordnede agenter til din hovedagent. Listen identificerer den relationstype, som den angivne agent har til din hovedagent i kolonnen Type. Hvis en agent er en underordnet agent, er dens type Child. Tilknyttede agenter har en angivet type, der afspejler, hvor de blev oprettet (f.eks. Copilot Studio, Azure AI Foundry). Måleværdien Opkald for hver angivet agent beskriver mængden af opkald fra hovedagenten til den forbundne eller underordnede agent. Succesfrekvensen afspejler andelen af kald (som en % af alle kald), der blev fuldført. Status angiver den individuelle administrative status for hver forbundet og underordnet agent.

Listen Agenter viser som standard de øverste fem (5) forbundne og underordnede agenter for din hovedagent rangeret fra højeste til laveste samlede antal spørgsmål. Hvis der er mere end fem agenter, skal du vælge Se alle for at få vist alle agenter.

Anvendelse

Afsnittet Brug hjælper dig med at forstå, hvordan brugerne interagerer med din agent, og hvor du kan forbedre svarpålideligheden. Brug er opdelt på tværs af mange undersektioner:

• Temaer: Temaer hjælper dig med at få indsigt i analyser ved at gruppere brugerspørgsmål i AI-foreslåede kategorier.
• Genereret svarfrekvens og -kvalitet: Forståelse af, hvornår agenten kæmper for at give svar på brugerspørgsmål, og hvordan den bruger videnkilder, kan hjælpe dig med at finde måder at forbedre din agents svarfrekvens og kvalitet på.
• Brug af værktøjer: Hvis du lærer, hvor ofte værktøjer bruges, og hvor ofte de lykkes, kan det hjælpe dig med at forstå, om disse værktøjer er nyttige og vellykkede for brugerne.
• Brug af videnkilde: Hvis du lærer, hvor ofte individuelle videnkilder bruges, og hvor ofte de returnerer fejl, hjælper det dig med at forbedre kvaliteten og dækningen af din agents svar.

Genereret svarrate og kvalitet

Med generative svar kan din agent bruge AI til at generere svar på brugerforespørgsler ved hjælp af videnkilder og de instruktioner, du angiver. Din agent kan dog muligvis ikke besvare alle brugerforespørgsler. Afsnittet Genereret svarfrekvens og kvalitet sporer, organiserer og analyserer ubesvarede forespørgsler og svarkvalitet for at give dig vejledning til, hvordan du kan forbedre din agents svarydeevne.

Svarfrekvensen viser antallet af besvarede og ubesvarede spørgsmål inden for den valgte tidsperiode og den procentvise ændring over tid.

Svarkvalitet måler kvaliteten af svar ved hjælp af AI. Copilot Studio ser på et eksempelsæt af besvarede spørgsmål og analyserer forskellige kvalitet, herunder fuldstændighed, relevans og jordforbindelse af et svar. Hvis svaret opfylder en angivet standard, angiver Copilot Studio svaret som God kvalitet. Copilot Studio mærker svar, der ikke opfylder denne standard, som Dårlig kvalitet. For Poor svar tildeler Copilot Studio en årsag til kvalitetsbedømmelsen og viser procentdelen af svar, der er tildelt til hver kategori.

Peg på et hvilket som helst segment af en søjle i diagrammet for at se den relative vægtning af en individuel årsag for enten en God eller Dårlig kvalitetsetiket. Værktøjstippet angiver også antallet af svar, der er udtaget som prøver for at nå frem til den beregnede procentværdi.

I forklaringen under diagrammet skal du holde markøren over kvalitetsetiketårsager for at fremhæve den pågældende årsag i diagrammet.

Vælg et segment i liggende søjlediagram for at åbne en side med brugerspørgsmål , der er filtreret efter den pågældende svarkvalitet. Vælg Se spørgsmål for at se en ufiltreret liste over alle spørgsmål inden for den konfigurerede tidsperiode.

Brug af værktøj

Afsnittet Værktøjsanvendelse viser et diagram og målepunkter, der sporer, hvor ofte dine værktøjer startes over tid, og hvor ofte din agent har brugt disse værktøjer korrekt. Den viser også tendensindikatorer for, hvor ofte din agent bruger hvert værktøj, og procentdelen af kaldte værktøjer, der bruges korrekt.

Diagrammet viser de fem øverste værktøjer, der bruges i den datoperiode, der er defineret øverst på siden Analytics .

I forklaringen under diagrammet skal du holde markøren over et af værktøjerne for at fremhæve værktøjet i diagrammet.

Hvis du vil åbne et sidepanel med en liste over alle de værktøjer, der bruges i den angivne tidsperiode, sammen med tendensindikatorer, skal du vælge Se detaljer i diagrammet. I panelet Værktøjsanvendelse kan du få vist beregninger af procentdelen af spørgsmål, der bruges til hvert værktøj. Hvis din agent har underordnede agenter, kan du vælge at få vist beregninger for både hovedagenten og underordnede agenter (Alle), kun Hovedagenten eller kun Den underordnede agent.

Brug af videnkilde

Afsnittet Brug af videnkilde giver indsigt i, hvordan din agent bruger sine videnkilder , og hvor ofte disse kilder returnerer fejl. Du kan finde detaljerede oplysninger om tilgængelige målepunkter, filtrering og detailudledning under Brug af videnkilde.