Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
La pagina Analytics in Copilot Studio offre informazioni dettagliate aggregate sull'efficacia complessiva dell'agente nelle sessioni analytics. La pagina è suddivisa in aree principali incentrate su contesti di prestazioni diversi. La pagina visualizza anche un'area Panoramica che fornisce metriche KPI (Key Performance Indicator) di alto livello per l'agente, un'area Risparmio che analizza il tempo e i risparmi sui costi attribuibili all'agente o agli strumenti dell'agente e un'area Riepilogo che fornisce informazioni di analisi chiave sulle prestazioni dell'agente.
Sono disponibili quattro sezioni principali su cui concentrarsi quando si esamina e si migliora l'efficacia dell'agente di conversazione.
- La sezione Riepilogo, Panoramica e Risparmio mostra informazioni dettagliate chiave sull'analisi degli agenti insieme alle statistiche di fatturazione e risparmio sui costi; per altre informazioni su ogni sottosezione, vedere Riepilogo, Panoramica e Risparmio .
- La sezione Metriche personalizzate consente di definire metriche specifiche dell'azienda per i casi d'uso degli agenti.
- La sezione Efficacia consente di valutare la qualità delle esperienze utente mostrando dove le conversazioni hanno esito positivo, dove si suddivideno e come gli utenti sentono i risultati.
- La sezione Usa consente di migliorare le prestazioni operative mostrando in che modo l'agente risponde alle domande, il modo in cui gli strumenti e le fonti di conoscenze supportano in modo affidabile tali risposte e dove gli aggiornamenti mirati possono aumentare la copertura e la coerenza.
È possibile visualizzare l'analisi degli eventi che si sono verificati negli ultimi 90 giorni.
Metriche personalizzate
La sezione Metriche personalizzate consente di definire fino a tre metriche specifiche dell'azienda nel linguaggio naturale e di tenere traccia della frequenza con cui ogni risultato viene visualizzato nelle sessioni campionate. Usare queste metriche per integrare le informazioni dettagliate di analisi standard con indicatori che riflettono gli obiettivi e l'uso aziendale dell'agente. Per informazioni su come creare, testare e perfezionare le metriche personalizzate, vedere Analizzare l'agente con metriche personalizzate.
Efficacia
La sezione Efficacia mostra il feedback degli utenti raccolto da reazioni, risposte dell'agente, risultati del sondaggio e punteggio del sentiment per una sessione. L'efficacia è suddivisa tra molte sottosezioni:
- Risultati della conversazione: conoscere il risultato finale di una conversazione consente di iniziare a identificare dove l'agente ha esito positivo e dove ha bisogno di miglioramento.
- Reazioni: Le risposte degli utenti, inclusi i feedback con pollice in su/pollice in giù e i commenti degli utenti relativi a specifiche risposte dell'agente.
- Soddisfazione dei clienti: visualizzazione del punteggio di soddisfazione dei clienti (CSAT).
- Sentiment (anteprima): analisi del sentiment basata su intelligenza artificiale per l'intera sessione.
- Agenti: Visualizza le metriche del volume di chiamate, le percentuali di successo e lo stato attuale degli agenti secondari e connessi.
I dati di feedback vengono archiviati nella tabella di trascrizione della conversazione in Dataverse. Per un elenco dei canali che supportano questa funzionalità, vedi Dettagli delle funzionalità.
Risultati conversazione
La sezione Risultati conversazione mostra un grafico che tiene traccia del tipo di risultato per ogni sessione tra l'agente e gli utenti.
Il grafico, visualizzato come istogramma in pila o un grafico ad area in pila, visualizza i volumi relativi di risultati, codificati a colori e raggruppati per tipo. Ogni oggetto Risolto, Inoltrato, Abbandonato e Non coinvolto è rappresentato dai rispettivi colori per ogni punto dati. L'asse y indica il numero di sessioni.
Per visualizzare le metriche sui singoli risultati specifici di un punto dati (un giorno specifico), passa il puntatore su un'area che rappresenta il colore di un risultato di interesse (ad esempio, verde acqua per Abbandonato) nel giorno a cui si è interessati.
Per scaricare i dati dei risultati della conversazione (dati visualizzati nel grafico), selezionare l'icona 
del menu e selezionare Scarica CSV.
Note
Se si hanno risultati rimossi dal grafico quando si scarica, i relativi dati non vengono visualizzati nel file CSV.
Per aprire un pannello laterale con informazioni dettagliate sui risultati della conversazione, seleziona Visualizza dettagli nel grafico. Il pannello laterale Risultati della conversazione include:
- Una ripartizione del grafico a torta degli esiti della sessione, che indica la ponderazione relativa (espressa come percentuale) degli esiti Risolto, Escalato e Abbandonato.
- Grafico a barre in pila che mostra il peso relativo, espresso in percentuale, dei motivi dei risultati Risolto confermato e Risolto implicito che descrivono tutti i risultati delle sessioni risolte.
- Grafico a barre impilate che mostra il peso relativo (espresso come percentuale) dei motivi di risultato Previsto dal sistema, Non previsto dal sistema e Richiesto dall'utente che descrivono tutti i risultati delle sessioni escalate.
- Argomenti principali che hanno portato a ogni risultato.
Note
Per visualizzare una descrizione comando con informazioni sul conteggio non elaborato, passa il puntatore del mouse su uno dei segmenti del grafico a torta o del grafico a barre in pila.
Una sessione rientra in uno dei due stati seguenti:
Non impegnata: una sessione inizia quando un utente interagisce con il tuo agente o l'agente invia un messaggio proattivo all'utente. La sessione inizia in uno stato non impegnato.
Attivato: l'utente interagisce attivamente con l'agente. Esiste una differenza nel comportamento in base alla modalità di orchestrazione dell'agente.
Orchestrazione classica: una sessione viene attivata quando viene attivato uno degli argomenti seguenti:
- Argomento personalizzato attivato direttamente dall'utente
- Portare l'argomento in primo piano
- Argomento di riserva
- Argomento per migliorare la conversazione
Orchestrazione di intelligenza artificiale generativa: una sessione viene attivata quando un utente attiva direttamente un piano e include uno degli elementi seguenti:
- Argomento non di sistema
- Portare l'argomento in primo piano
- Argomento di riserva
- Fonte di conoscenza
- Uno strumento
Una sessione impegnata ha uno dei seguenti risultati:
| Categoria di risultati | Risultato | Descrizione |
|---|---|---|
| Risolto | Una sessione si conclude con successo. Esistono due tipi di sessioni risolte: risolte confermate e risolte implicite. | |
| Confermato risolto | Una sessione viene considerata Confermata risolta quando l'argomento Fine della conversazione viene attivato e l'utente conferma il successo dell'interazione. | |
| Risolta implicita | Una sessione è Risolta implicita quando la sessione viene considerata completata senza conferma dell'utente ma basandosi sulla logica dell'agente. Lo stato Risolto implicito dipende dal fatto che l'agente usi l'orchestrazione di AI classica o generativa: - Orchestrazione classica: una sessione viene considerata Risolta implicita quando viene attivato l'argomento Fine conversazione e l'utente consente al timeout della sessione senza fornire una conferma. - Orchestrazione dell'IA generativa: una sessione viene considerata Risolta implicita quando una sessione è inattiva e non sono presenti piani attivi rimanenti. Un piano attivo è un piano in attesa dell'input di un utente. |
|
| Riassegnato | Una sessione termina ma viene considerata Escalated quando viene attivato l'argomento Escalate o viene eseguito un nodo Trasferisci ad agente (la sessione di analisi corrente termina, indipendentemente dal fatto che la conversazione venga trasferita a un agente dal vivo o meno). Esistono tre tipi di sessioni riassegnate: Previsto dal sistema, Non previsto dal sistema e Richiesto dall'utente. | |
| Sistema previsto | Una sessione viene scalata automaticamente in seguito a un insieme di regole aziendali automatiche impostate da un creatore. L'escalation è un esito atteso della conversazione e non è qualcosa che necessita di indagine o cambiamento. Esempio: un utente vuole trasferire più di $25.000 a terze parti. Questo valore supera una soglia prevista da una regola aziendale e la sessione viene automaticamente rialzata di conseguenza. |
|
| Non previsto dal sistema | Un'escalation avviene automaticamente quando una sessione supera una o più soglie stabilite da un creatore. Di solito, questo risultato indica che l'utente è bloccato nella conversazione e ha bisogno di assistenza. Esempio: una sessione viene scalata dopo tre fallimenti nell'eseguire un'attività specifica. |
|
| Richiesto dall'utente | Si procede con l'escalation di una sessione perché è stata fatta una richiesta esplicita dell'utente durante la conversazione. Esempio: un utente immette Transfer me to an agent. |
|
| Abbandonato | Una sessione termina e viene considerata Abbandonata quando una sessione attiva va in timeout dopo 30 minuti e non ha raggiunto uno stato risolto o di escalation. |
È anche possibile impostare il risultato per gli strumenti con il conversationOutcome parametro usando l'editor del codice dello strumento. Ad esempio conversationOutcome: ResolvedConfirmed per successo confermato o conversationOutcome: ResolvedImplied per successo implicito.
Consulta la documentazione delle linee guida sulla misurazione del coinvolgimento per suggerimenti e migliori pratiche su come misurare e migliorare il coinvolgimento.
Reazioni
La sezione Reazioni mostra il feedback degli utenti raccolti dalle reazioni alle risposte dell'agente. Il grafico conta il numero di volte in cui gli utenti hanno selezionato i pulsanti Mi piace (positivi) o Non mi piace (negativi) disponibili per ogni risposta ricevuta dall'agente.
Note
- Gli agenti pubblicati nel canale Microsoft 365 Copilot non supportano le reazioni.
- Per visualizzare i commenti è necessario avere il ruolo di sicurezza Visualizzatore Trascrizione Bot.
La funzionalità Reazioni è Attivata per impostazione predefinita. Se lo desideri, puoi disattivare questa funzione. Puoi anche aggiungere o modificare una dichiarazione di non responsabilità per gli utenti su come viene utilizzato il loro feedback:
Apri l'agente, vai a Impostazioni e individua la sezione Feedback dell'utente.
Attivare o disattivare Raccogli reazioni utente ai messaggi dell'agente.
Aggiungi o modifica una dichiarazione di non responsabilità in modo che gli utenti sappiano come viene utilizzato il loro feedback. Puoi anche fornire informazioni sulla privacy e suggerimenti.
Gli utenti con il privilegio Bot Transcript Viewer possono eseguire il drill-down delle risposte dell'agente per le singole reazioni e filtrare in base ai commenti dell'utente.
Vedere le tendenze di reazione nel tempo
Selezionare Visualizza dettagli nel riquadro Reazioni per aprire il pannello Laterale Reazioni . Il pannello mostra la tendenza delle reazioni positive e negative (da Thumbs up e Thumbs down) nel tempo.
Soddisfazione del cliente
La sezione Soddisfazione del cliente mostra informazioni sulla soddisfazione degli utenti in base ai risultati del sondaggio utente:
Punteggio di soddisfazione: un punteggio di 5 calcolato dai punteggi di soddisfazione media dei clienti (CSAT) per le sessioni in cui gli utenti hanno risposto alle richieste di fine sessione per eseguire un sondaggio.
Note
I punteggi di
1e2vengono mappati su Insoddisfatto, un punteggio di3è considerato neutro e i punteggi di4e5vengono mappati su Soddisfatto.Soddisfazione per sessione: Un grafico a barre sovrapposte che visualizza il peso relativo per ciascuna delle categorie di punteggio del sondaggio, cioè
Dissatisfied,Neutral, eSatisfied. Passa il mouse su ogni segmento del grafico per vedere la dimensione del campione e il valore numerico del peso di ogni categoria di punteggio. Per gli utenti con il privilegio Bot Transcript Viewer, è possibile eseguire il drill-down a un elenco di sessioni cliente filtrate in base alla parte del segmento di barre selezionato.
Selezionare Visualizza dettagli per visualizzare la tendenza del punteggio di soddisfazione nel periodo di tempo selezionato.
Sentiment (anteprima)
[Questa sezione fa parte della documentazione non definitiva, pertanto è soggetta a modifiche.]
L'analisi del sentiment usa l'intelligenza artificiale per analizzare i messaggi utente da un campione di sessioni per valutare un sentiment utente complessivo per l'agente. Il valore numerico rappresenta la percentuale di sessioni con un sentimento negativo degli utenti.
Importante
Questo articolo contiene la documentazione sull'anteprima di Microsoft Copilot Studio ed è pertanto soggetto a modifiche.
Le funzionalità di anteprima non sono destinate all'uso in produzione e potrebbero avere funzionalità limitate. Queste funzionalità sono disponibili prima di una versione ufficiale in modo che sia possibile ottenere l'accesso iniziale e inviare commenti.
Se stai creando un agente destinato alla produzione, vedi Panoramica di Microsoft Copilot Studio.
Selezionare Visualizza dettagli per visualizzare i dati del sentiment per il peso relativo di ognuna delle categorie di sentiment (ad esempio Positive, Neutrale Negative).
È possibile attivare e disattivare l'analisi del sentiment per l'agente in Impostazioni. Quando l'analisi del sentiment è disattivata, il sentiment dell'utente non viene analizzato durante le sessioni.
Passare a Impostazioni e selezionare Avanzate.
Attivare o disattivare l'analisi del sentiment.
Agenti
L'elenco Agenti visualizza metriche di volume, prestazione e stato di alto livello per gli agenti connessi e gli agenti figlio dell'agente principale. L'elenco identifica il tipo di relazione che l'agente elencato deve avere all'agente principale nella colonna Tipo. Se un agente è un agente figlio, il tipo è Child. Gli agenti connessi hanno un tipo elencato che riflette la posizione in cui sono stati creati( ad esempio, Copilot Studio, Azure AI Foundry). La metrica Chiamate per ogni agente elencato descrive il volume di chiamate dall'agente principale all'agente connesso o figlio. La Percentuale di successo riflette la percentuale di chiamate (come % di tutte le chiamate) completate correttamente. Lo stato indica il singolo stato amministrativo per ogni agente connesso e figlio.
Per impostazione predefinita, l'elenco Agenti visualizza i primi cinque (5) agenti connessi e figlio dell'agente principale, classificati in base al numero totale di domande (dal più alto al più basso). Se sono presenti più di cinque agenti, seleziona Visualizza tutto per visualizzare tutti gli agenti.
Note
Il pulsante Visualizza tutto è visibile solo se sono presenti più di cinque agenti connessi o subordinati dell'agente principale.
Utilizzo
La sezione Usa consente di comprendere come gli utenti interagiscono con l'agente e dove migliorare l'affidabilità delle risposte. L'uso viene suddiviso in più sottosezioni:
- Temi: i temi consentono di ottenere informazioni dettagliate sull'analisi raggruppando le domande degli utenti nelle categorie suggerite dall'intelligenza artificiale.
- Tasso di risposta generato e qualità: comprendere quando l'agente lotta per fornire risposte alle domande degli utenti e come usa le fonti di informazioni può aiutare a trovare modi per migliorare la frequenza e la qualità delle risposte dell'agente.
- Uso degli strumenti: imparare con quale frequenza vengono usati gli strumenti e la frequenza con cui hanno successo può aiutare a capire se questi strumenti sono utili e di successo per gli utenti.
- Utilizzo delle fonti di conoscenza: sapere con quale frequenza vengono utilizzate le singole fonti di conoscenza e con quale frequenza restituiscono errori aiuta a migliorare la qualità e la copertura delle risposte dell'agente.
Tasso di risposta generato e qualità
Con le risposte generative, l'agente può usare l'intelligenza artificiale per generare risposte alle query degli utenti usando le origini delle informazioni e le istruzioni fornite. Tuttavia, l'agente potrebbe non essere in grado di rispondere a tutte le query utente. La sezione Percentuale di risposte generate e qualità tiene traccia, organizza e analizza le query senza risposta e la qualità delle risposte per fornire indicazioni per migliorare le prestazioni di risposta dell'agente.
La frequenza delle risposte mostra il numero di domande risposte e senza risposta entro il periodo di tempo selezionato e la variazione percentuale nel tempo.
La qualità delle risposte misura la qualità delle risposte usando l'intelligenza artificiale. Copilot Studio esamina un set di esempi di domande risposte e analizza diverse qualità, tra cui completezza, pertinenza e livello di base di una risposta. Se la risposta soddisfa uno standard impostato, Copilot Studio etichetta la risposta come Buona qualità. Copilot Studio etichetta come Qualità scadente le risposte che non soddisfano tale standard. Per risposte scarse , Copilot Studio assegna un motivo per la classificazione di qualità e mostra la percentuale di risposte assegnate a ogni categoria.
Passa il puntatore del mouse su qualsiasi segmento di una barra nel grafico per visualizzare il peso relativo di un singolo motivo per un'etichetta Buono o Scarso. La descrizione comando indica anche il numero di risposte campionate per arrivare al valore della percentuale calcolata.
Nella legenda sotto il grafico passa il puntatore del mouse su uno dei motivi dell'etichetta di qualità per evidenziare tale motivo nel grafico.
Selezionare un segmento del grafico a barre per aprire una pagina di domande utente filtrate sulla qualità della risposta. Selezionare Visualizza domande per visualizzare un elenco non filtrato di tutte le domande nel periodo di tempo configurato.
Utilizzo degli strumenti
La sezione Uso degli strumenti mostra un grafico e metriche che tengono traccia della frequenza con cui gli strumenti vengono avviati nel tempo e della frequenza con cui l'agente ha usato correttamente tali strumenti. Mostra anche gli indicatori di tendenza per la frequenza con cui l'agente usa ciascuno strumento e la percentuale di strumenti chiamati usati correttamente.
Il grafico mostra i primi cinque strumenti usati nell'intervallo di date definito nella parte superiore della pagina Analisi.
Nella legenda sotto il grafico passa il puntatore del mouse su uno degli strumenti per evidenziare tale strumento nel grafico.
Per aprire un pannello laterale con un elenco di tutti gli strumenti usati nel periodo di tempo specificato, insieme agli indicatori di tendenza, selezionare Visualizza dettagli nel grafico. Nel pannello Utilizzo strumento puoi visualizzare i calcoli della percentuale di domande usate per ciascuno strumento. Se l'agente dispone di agenti figlio, puoi scegliere di visualizzare i calcoli sia per l'agente principale che per gli agenti figlio (Tutti), solo Agente principale o solo Agente figlio.
Uso delle origini della conoscenza
La sezione Uso dell'origine conoscenze fornisce informazioni dettagliate sul modo in cui l'agente usa le relative origini conoscenze e sulla frequenza con cui tali origini restituiscono errori. Per informazioni dettagliate sulle metriche, sui filtri e sulle funzionalità di drill-down disponibili, vedere Uso dell'origine delle informazioni.
