Analyser les agents conversationnels

La page Analytics dans Copilot Studio fournit un aperçu agrégé de l’efficacité globale de votre agent dans les sessions analytics. La page est divisée en zones principales qui se concentrent sur différents contextes de performances. La page affiche également une zone Vue d’ensemble qui fournit des métriques d’indicateur de performance clés (KPI) de haut niveau pour votre agent, une zone Économies qui analyse les économies de temps et de coûts attribuables aux outils de votre agent ou de votre agent, ainsi qu’une zone Résumé qui fournit des insights analytiques clés sur les performances de votre agent.

Il y a quatre sections clés sur lesquelles se concentrer lors de l’examen et de l’amélioration de l’efficacité de l’agent conversationnel.

• La section Résumé, Vue d’ensemble et Économies affiche des insights d’analyse clés sur vos agents, ainsi que des statistiques sur la facturation et les économies de coûts ; consultez Résumé, Vue d’ensemble et Économies pour en savoir plus sur chaque sous-section.
• La section Métriques personnalisées vous permet de définir des métriques spécifiques à l’entreprise pour vos cas d’usage d’agents.
• La section Efficacité vous aide à évaluer la qualité des expériences utilisateur en montrant où les conversations réussissent, où elles se décomposent et comment les utilisateurs se sentent sur les résultats.
• La section Use vous aide à améliorer les performances opérationnelles en montrant comment votre agent répond aux questions, comment les outils et les sources de connaissances fiables prennent en charge ces réponses, et où les mises à jour ciblées peuvent augmenter la couverture et la cohérence.

Vous pouvez afficher l’analyse des événements qui se sont produits au cours des 90 derniers jours.

Métriques personnalisées

La section Métriques personnalisées vous permet de définir jusqu’à trois métriques spécifiques à l’entreprise en langage naturel et de suivre la fréquence à laquelle chaque résultat apparaît entre les sessions échantillonnées. Utilisez ces métriques pour compléter vos insights d’analyse standard avec des indicateurs qui reflètent les objectifs et l’utilisation métier de votre agent. Pour savoir comment créer, tester et affiner des métriques personnalisées, consultez Analyser votre agent avec des métriques personnalisées.

Efficacité

La section Efficacité montre les commentaires des utilisateurs recueillis à partir des réactions, des réponses de l’agent, des résultats de l’enquête et du score de sentiment pour une session. L’efficacité est divisée entre de nombreuses sous-sections :

• Résultats de la conversation : connaître le résultat final d’une conversation vous permet de commencer à identifier l’endroit où votre agent réussit et où il a besoin d’amélioration.
• Réactions: retours des utilisateurs, y compris les évaluations positives/négatives et les commentaires des utilisateurs sur des réponses spécifiques de l’agent.
• Satisfaction des clients : affichage du score de satisfaction des clients (CSAT).
• Sentiment (aperçu) : analyse des sentiments par IA sur l’ensemble de la session.
• Agents : consultez les métriques du volume d’appels, les taux de réussite et l’état actuel des agents enfants et connectés.

Les données de commentaires sont stockées dans la table de transcription de conversation dans Dataverse. Pour obtenir la liste des canaux qui prennent en charge cette fonctionnalité, consultez Détails de la fonctionnalité.

Résultats de la conversation

La section Résultats de la conversation affiche un graphique qui suit le type de résultat de chaque session entre votre assistant et les utilisateurs.

Le graphique, qu´il soit affiché sous forme d´histogramme empilé ou de graphique en aires empilées, visualise les volumes relatifs des résultats, codés par couleur et empilés par type. Chacun des états Résolu, Escaladé, Abandonné et Sans interaction sont représentés par une couleur spécifique pour chaque point de données. L’axe y indique le nombre de sessions.

Pour afficher les métriques associées à un résultat individuel spécifique à un point de données (un jour spécifique), survolez une zone représentant la couleur d'un résultat d'intérêt (par exemple, le bleu turquoise pour Abandonné) à la date qui vous intéresse.

Pour télécharger les données de résultat de conversation (données visualisées dans le graphique), sélectionnez l’icône de menu et sélectionnez Télécharger le fichier CSV.

Pour ouvrir un panneau latéral avec des informations détaillées sur les résultats de conversation, sélectionnez Afficher les détails du graphique. Le panneau latéral des résultats de Conversation comprend les éléments suivants :

• Diagramme circulaire des résultats de session, montrant la pondération relative (exprimée en pourcentage) des résultats Résolus, Escaladés et Abandonnés.
• Graphique à barres empilées montrant la pondération relative (exprimée sous la forme d’un pourcentage) des résultats résolus confirmés et résultats résolus implicites décrivant tous les résultats de session résolus.
• Graphique à barres empilées montrant la pondération relative (exprimée sous la forme d’un pourcentage) du système intentionnel, système non-intentionnel et raisons de résultat demandées par l'utilisateur décrivant tous les résultats de session escaladés.
• Les principales rubriques qui ont conduit à chaque résultat.

Une session tombe dans l’un des deux états suivants :

• Non engagé : une session démarre lorsqu’un utilisateur interagit avec votre assistant ou que l’assistant envoie un message proactif à l’utilisateur. La session commence dans un état non engagé .

• Engagé : l’utilisateur interagit activement avec l’agent. Il existe une différence de comportement en fonction du mode d’orchestration de l’agent.

  • Orchestration classique : une session devient engagée quand l’une des rubriques suivantes est déclenchée :

    • Rubrique personnalisée déclenchée directement par l’utilisateur
    • Faire remonter le sujet
    • Sujet de remplacement
    • Rubrique d'amélioration de la conversation

  • Orchestration de l’IA dégénérative : une session devient engagée lorsqu’un utilisateur déclenche directement un plan et inclut l’un des éléments suivants :

    • Sujet hors système
    • Faire remonter le sujet
    • Sujet de remplacement
    • Une source de connaissance
    • Un outil

Une session engagée a l’un des résultats suivants :

Vous pouvez également définir le résultat des outils avec le paramètre conversationOutcome en utilisant l’éditeur de code de l’outil. Par exemple, conversationOutcome: ResolvedConfirmed pour un succès confirmé ou conversationOutcome: ResolvedImplied pour un succès implicite.

Consultez la documentation des directives sur la mesure de l’engagement pour des suggestions et des bonnes pratiques sur la manière de mesurer et d’améliorer l’engagement.

Réactions

La section Réactions affiche les commentaires des utilisateurs recueillis à partir de réactions aux réponses de l’agent. Le graphique compte le nombre de fois où les utilisateurs ont sélectionné les boutons pouce vers le haut (positif) ou pouce vers le bas (négatif) disponibles sur chaque réponse qu’ils ont reçue de votre assistant.

La fonctionnalité Réactions est activée par défaut. Vous pouvez désactiver cette fonctionnalité, si vous le souhaitez. Vous pouvez également ajouter ou modifier une clause de non-responsabilité pour les utilisateurs concernant la manière dont leurs commentaires sont utilisés :

1. Ouvrez l’assistant, puis accédez à Paramètres et trouvez la section Commentaires des utilisateurs.

2. Activez oudésactivezles réactions des utilisateurs aux messages de l’agent.

3. Ajoutez ou modifiez une clause de non-responsabilité afin que les utilisateurs sachent comment leurs commentaires sont utilisés. Vous pouvez également fournir des informations et des conseils sur la confidentialité.

Les utilisateurs disposant du privilège Bot Transcript Viewer peuvent explorer les réponses de l’agent pour les réactions individuelles et filtrer par commentaires utilisateur.

Voir les tendances des réactions au fil du temps

Sélectionnez Afficher les détails de la vignette Réactions pour ouvrir le panneau latéral Réactions . Le panneau montre l'évolution des tendances des réactions positives et négatives (de coup de pouce et coup de poing) au fil du temps.

Satisfaction du client

La section Satisfaction des clients affiche des informations sur la satisfaction des utilisateurs en fonction des résultats de l’enquête utilisateur :

• Score de satisfaction : un score sur 5 calculé à partir des scores de satisfaction moyenne des clients (CSAT) pour les sessions dans lesquelles les utilisateurs ont répondu aux demandes de fin de session pour effectuer une enquête.

  Note

  Les scores de 1 et 2 correspondent à Insatisfait, un score de 3 correspond à Neutre, et des scores de 4 et 5 correspondent à Satisfait.

• Satisfaction par session : Un graphique à barres empilées qui visualise la pondération relative pour chacune des catégories de score de l’enquête, soit Dissatisfied, Neutral, et Satisfied. Passez la souris sur chaque segment du graphique pour voir la taille de l’échantillon et la valeur numérique de la pondération de chaque catégorie de score. Pour les utilisateurs disposant du privilège Bot Transcript Viewer, vous pouvez explorer la liste des sessions client filtrées en fonction de la partie du segment de barre sélectionnée.

Sélectionnez Afficher les détails pour afficher la tendance du score de satisfaction sur la période sélectionnée.

Sentiment (aperçu)

[Cette section est une documentation de type avant-projet susceptible d’être modifié.]

L’analyse des sentiments utilise l’IA pour analyser les messages utilisateur d’un échantillon de sessions afin d’évaluer un sentiment d’utilisateur global pour l’agent. La valeur numérique représente le pourcentage de sessions avec un sentiment négatif des utilisateurs.

Sélectionnez Afficher les détails pour afficher les données de sentiment pour la pondération relative de chacune des catégories de sentiments (en cours Positive, Neutralet Negative).

Vous pouvez activer et désactiver l’analyse des sentiments pour votre agent sous Paramètres. Lorsque l’analyse des sentiments est désactivée, les sentiments utilisateur ne sont pas analysés pendant les sessions.

1. Accédez à Paramètres , puis sélectionnez Avancé.

2. Activez ou désactivez l’analyse des sentiments.

   

Agents

La liste Assistants affiche des métriques de volume, de performances et d’état de haut niveau pour les assistants connectés et enfants de votre assistant principal. La liste identifie le type de relation que l’assistant répertorié doit à votre assistant principal dans la colonne Type. Si un agent est un agent enfant, son type est Child. Les agents connectés ont un type répertorié qui reflète l’emplacement où ils ont été créés (par exemple, Copilot Studio, Azure AI Foundry). La métrique Appels pour chaque assistant répertorié décrit le volume d’appels de l’assistant principal vers l’assistant connecté ou enfant. Le taux de réussite reflète la proportion d’appels (sous la forme d’un % de tous les appels) qui ont réussi. Le statut indique le statut administratif individuel de chaque assistant connecté et enfant.

Par défaut, la liste Assistants affiche les cinq principaux assistants connectés et enfants de votre assistant principal, classés du plus haut au plus bas nombre de questions. S’il y a plus de cinq assistants, sélectionnez Afficher tout pour afficher tous les assistants.

Utiliser

La section Use vous aide à comprendre comment les utilisateurs interagissent avec votre agent et où améliorer la fiabilité des réponses. L’utilisation est divisée entre de nombreuses sous-sections :

• Thèmes : Les thèmes vous aident à obtenir des insights d’analyse en clustering des questions utilisateur dans des catégories suggérées par l’IA.
• Taux de réponses générés et qualité : comprendre quand l’agent a du mal à fournir des réponses aux questions utilisateur et comment il utilise des sources de connaissances peut vous aider à trouver des moyens d’améliorer le taux de réponse et la qualité de votre agent.
• Utilisation de l’outil : Apprentissage de la fréquence à laquelle les outils sont utilisés et de la fréquence à laquelle ils réussissent peuvent vous aider à comprendre si ces outils sont utiles et réussis pour les utilisateurs.
• Utilisation des sources de connaissances : Apprentissage de la fréquence à laquelle les sources de connaissances individuelles sont utilisées et la fréquence à laquelle elles retournent des erreurs vous aide à améliorer la qualité et la couverture des réponses de votre agent.

Taux de réponse généré et qualité

Avec des réponses génératives, votre agent peut utiliser l’IA pour générer des réponses aux requêtes utilisateur à l’aide de sources de connaissances et des instructions que vous fournissez. Toutefois, votre agent peut ne pas pouvoir répondre à toutes les requêtes utilisateur. La section Générer le taux de réponses et la qualité effectue le suivi, l’organisation et l’analyse des requêtes et de la qualité des réponses non résolues pour vous donner des conseils pour améliorer les performances de réponse de votre assistant.

Le taux de réponses indique le nombre de réponses et de questions non résolues au cours de la période sélectionnée et le pourcentage change au fil du temps.

La qualité des réponses mesure la qualité des réponses à l’aide de l’IA. Copilot Studio examine un exemple d’ensemble de questions répondues et analyse différentes qualités, notamment l’exhaustivité, la pertinence et le niveau de base d’une réponse. Si la réponse répond à une norme définie, Copilot Studio étiquette la réponse en tant que bonne qualité. Copilot Studio étiquette les réponses qui ne répondent pas à cette norme comme étant de qualité médiocre. Pour les réponses mauvaises, Copilot Studio attribue une raison pour la note de qualité et affiche le pourcentage de réponses assignées à chaque catégorie.

Pointez sur n’importe quel segment d’une barre dans le graphique pour voir la pondération relative d’une raison individuelle associée à une étiquette de qualité positive ou négative. L’info-bulle indique également le nombre de réponses échantillonné pour arriver à la valeur de pourcentage calculé.

Dans la légende située sous le graphique, pointez sur l’une des raisons d´étiquette de qualité pour mettre en évidence cette raison dans le graphique.

Sélectionnez un segment du graphique à barres pour ouvrir une page de questions utilisateur filtrée sur cette qualité de réponse. Sélectionnez Afficher les questions pour afficher une liste non filtrée de toutes les questions au cours de la période configurée.

Utilisation de l’outil

La section Utilisation des outils affiche un graphique et des métriques qui suivent la fréquence de démarrage de vos outils au fil du temps et la fréquence à laquelle votre assistant a utilisé ces outils avec succès. Elle affiche également des indicateurs de tendance pour la fréquence à laquelle votre assistant utilise chaque outil et le pourcentage d’outils appelés utilisés avec succès.

Le graphique affiche les cinq principaux outils utilisés au cours de la période définie en haut de la page Analyse.

Dans la légende située sous le graphique, pointez sur l’un des outils pour mettre en évidence cet outil dans le graphique.

Pour ouvrir un volet latéral contenant la liste de tous les outils utilisés au cours de la période spécifiée, ainsi que les indicateurs de tendance, sélectionnez Afficher les détails sur le graphique. Dans le volet Utilisation des outils, vous pouvez afficher les calculs du pourcentage de questions utilisées pour chaque outil. Si votre assistant a des assistants enfants, vous pouvez choisir d’afficher les calculs pour l’assistant principal et les assistants enfants (Tout), l’Assistant principal uniquement, ou l’Assistant enfant uniquement.

Utilisation des sources de connaissances

La section Utilisation de la source de connaissances fournit des informations sur la façon dont votre agent utilise ses sources de connaissances et la fréquence à laquelle ces sources retournent des erreurs. Pour plus d’informations sur les métriques disponibles, le filtrage et les fonctionnalités d’exploration, consultez l’utilisation de la source de connaissances.