分析聊天代理

Copilot Studio 中的 Analytics 页提供有关您的代理在 分析会话 中整体有效性的综合见解。 此页面被划分为侧重于不同表现上下文的多个核心部分。 页面上还显示一个概览部分，提供有关智能体的高级关键绩效指标（KPI）；一个节省部分，分析由智能体或智能体工具实现的时间和成本节省；以及一个摘要部分，提供对智能体表现的关键分析见解。

在审查和改进对话代理的有效性时，有四个需要重点关注的核心方面。

  • 摘要、概述和节省部分显示了有关您的代理的关键分析洞察，以及计费和成本节省统计数据；请参阅摘要、概述和节省，详细了解各个子部分。
  • 通过 “自定义指标 ”部分，可以为代理用例定义特定于业务的指标。
  • “有效性”部分通过显示对话成功的位置、细分位置以及用户对结果的感觉，帮助你评估用户体验的质量。
  • “ 使用 ”部分通过展示代理回答问题的方式、可靠工具和知识源如何支持这些答案，以及目标更新可提高覆盖范围和一致性，从而帮助你提高操作性能。

可以查看过去 360 天内发生的事件的分析。

自定义指标

“ 自定义指标 ”部分允许你以自然语言定义最多三个特定于业务的指标，并跟踪每个结果在采样会话中的显示频率。 使用这些指标将标准分析见解与反映代理目标和业务用途的指标相补充。 若要了解如何创建、测试和优化自定义指标，请参阅 使用自定义指标分析代理。

有效性

“有效性”部分显示从会话的反应、代理响应、调查结果和情绪评分中收集的用户反馈。 有效性分为多个子部分：

  • 对话结果：了解会话的最终结果有助于开始确定代理成功的位置以及需要改进的位置。
  • 反馈：用户反馈，包括点赞/点踩反馈以及针对特定智能体回复的用户评论。
  • 客户满意度：显示客户满意度（CSAT）分数。
  • 情感（预览）：针对整个会话的 AI 情感分析。
  • 代理：请参阅子代理和连接的代理的呼叫量指标、成功率和当前状态。

反馈数据存储在 Dataverse 中的对话脚本表中。 有关支持此功能的渠道列表，请参阅功能详细信息。

对话结果

对话结果部分显示的图表记录了代理与用户之间每个会话的结果类型。

结果和参与图表的屏幕截图。

图表（无论显示为堆叠直方图还是堆叠面积图）通过颜色编码和类型堆叠方式，可视化呈现各类结果的相对数量。 每个已解决、已升级、放弃和未参与状态在每个数据点中均以对应颜色标示。 y 轴显示会话数量。

若需查看特定日期（单个数据点）的具体结果指标，请将鼠标悬停于目标日期下对应结果的区域（例如放弃结果的蓝绿色区域）。

若要下载聊天结果数据（图形中可视化的数据），请选择菜单图标 ，然后选择“ 下载 CSV”。

Note

若下载图表时存在被移除的结果类型，其数据将不会出现在 CSV 文件中。

点击图表中的查看详情可展开侧边面板，查看对话结果的详细信息。 对话结果侧边面板包含：

  • 显示会话结果的饼图分布，呈现以下结果类型的相对权重（百分比形式）：已解决、已升级及已放弃结果的相对权重（百分比）。
  • 堆叠条形图展示了所有已解决会话结果中确认解决与暗示解决的结果原因及其相对权重（以百分比表示）。
  • 一个堆叠条形图，显示所有升级会话结果中系统预期、系统非预期和用户请求结果原因的相对权重（百分比）。
  • 导致每种结果的重要主题。

Note

将鼠标悬停在饼图或堆叠条形图的任何扇区上，即可查看包含原始计数信息的工具提示。

会话属于以下两种状态之一：

  • 未参与：当用户与您的智能体交互或智能体向用户发送主动消息时，会话将启动。 会话以未参与状态开始。

  • 参与：用户主动与代理交互。 基于代理的编排模式，行为表现存在差异。

    • 经典协调机制：当以下任一主题被触发时，会话即被激活：

      • 用户直接触发的自定义主题
      • 提升话题
      • 备用主题
      • 提升对话效果主题

    • 生成式 AI 编排：当用户直接触发计划并包含以下元素之一时，会话进入互动状态：

      • 非系统主题
      • 提升话题
      • 备用主题
      • 知识来源
      • 工具

参与的会话具有以下结果之一：

结果类别 结果 Description
已解决 会话成功结束。 有两种类型的已解析会话：解析已确认和解析隐式。
已确认解决 当触发对话结束主题且用户确认交互成功时，该会话被视为已确认解决。
隐含问题已解决 当会话在未获用户确认的情况下，基于智能体判断逻辑完成时，该会话被视为隐含解决。 解析的隐含状态取决于您的代理是使用经典还是生成式AI编排：
- 经典编排：当触发结束对话主题且用户未确认即让会话超时时，该会话被视为隐含解决。
- 生成式 AI 编排：当会话超时且没有剩余活动计划时，视为隐含解决。 正在等待用户输入的计划即为一个活跃计划。
已呈报 当触发升级主题或运行转接到代理节点时，会话结束并被视为已升级（当前分析会话结束，无论会话是否转移到人工代理）。 升级会话分为三类：系统计划、系统非预期和用户请求。
系统预设 会话因制作者设定的自动业务规则而自动升级。 升级是对话中预期的结果，不需要调查或改变。
示例：用户希望向第三方转账超过 25,000 美元。 该金额超出业务规则的阈值，因此会话自动升级。
系统非预期 会话由于超出制作者设定的一个或多个阈值，系统将自动升级。 通常，这种结果表明用户被困在对话中，需要帮助。
示例：某会话因三次执行特定任务失败而被升级。
用户请求 因对话过程中存在明确的用户请求而升级会话。
示例：用户输入 Transfer me to an agent。
放弃 当参与的会话在 30 分钟后超时且未达到已解决或已升级状态时，会话将结束，被视为已放弃。

您还可以通过工具代码编辑器，使用参数 conversationOutcome 设置工具的结果。 例如，conversationOutcome: ResolvedConfirmed 表示确认成功或 conversationOutcome: ResolvedImplied 表示暗示成功。

请参阅关于 衡量参与 度的指导文档，获取衡量和提升参与度的建议和最佳实践。

反应

反应 部分显示了用户对代理响应的反应所收集的反馈。 图表统计用户对您代理提供的每个响应选择点赞（正面）或点踩（负面）按钮的次数。

响应反应图表。

Note

  • 发布到 智能 Microsoft 365 Copilot 副驾驶® 通道的代理不支持反应功能。
  • 查看评论需具备机器人对话记录查看器安全角色权限。

默认情况下，“回应”功能为开启。 如果需要，您可以关闭此功能。 您还可以为用户添加或编辑关于如何使用其反馈的免责声明：

  1. 打开智能体，然后进入设置，找到用户反馈部分。

  2. 将对代理消息的用户反应收集功能设置为开或关。

  3. 添加或编辑免责声明，让用户了解其反馈的使用情况。 您还可以提供隐私信息和提示。

具有机器人对话记录查看权限的用户可以深入查看单个反应对应的客服回复，并按用户评论筛选。

选择查看详情以在回应磁贴上打开回应侧面板。 该面板显示了一段时间内的正面和负面反应（从 拇指向上 和 拇指向下）的趋势。

客户满意度

“ 客户满意度 ”部分根据用户调查结果显示有关用户满意度的信息：

“客户满意度”磁贴的屏幕截图。

  • 满意度分数：根据用户响应会话结束请求进行调查的会话的平均满意度（CSAT）分数计算出的 5 分。

    Note

    分数 1 和 2 映射到不满意，分数 3 被视为中立，分数 4 和 5 映射到满意。

  • 会话满意度：一个堆积条形图，用于可视化调查中每个得分类别的相对权重，即 Dissatisfied、Neutral 和 Satisfied。 将鼠标悬停在图表的每个部分上，可以看到样本大小以及每个分数类别权重的数值。 对于拥有机器人会话查看器特权的用户，您可以深入查看根据所选栏段部分筛选的客户会话列表。

选择“ 查看详细信息 ”以查看所选时间段内满意度分数趋势。

情绪（预览版）

[本部分是预发行文档，可能会更改。]

情绪分析使用 AI 从会话示例分析用户消息，以评估代理的总体用户情绪。 该数值表示负面用户情绪的会话百分比。

Important

本文包含 Microsoft Copilot Studio 预览版文档，有可能会有变动。

预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用，以便你可以提前访问并提供 反馈。

如果您在构建可投入生产的代理，请参阅 Microsoft Copilot Studio 概述。

情绪磁贴的屏幕截图。

选择“ 查看详细信息 ”以查看每个情绪类别（即 Positive， Neutral和 Negative）的相对权重的情绪数据。

可以在 “设置”下打开和关闭代理的情绪分析。 关闭情绪分析后，不会在会话期间分析用户情绪。

  1. 转到 “设置” 并选择“ 高级”。

  2. 打开或关闭 情绪分析。

    高级设置中情绪分析切换的屏幕截图。

Agents

智能体列表显示主要智能体的已连接智能体和子智能体的高级数量、性能和状态指标。 此列表在类型列中显示所列智能体与主智能体之间的关系类型。 如果智能体是子智能体，其类型为 Child。 连接的代理被标记为某一类型，以反映它们的创建位置（例如，Copilot Studio，Azure AI Foundry）。 每个列出的智能体的通话指标描述从主智能体到已连接智能体或子智能体的通话量。 成功率反映成功完成的通话比例（占所有通话的百分比 %）。 状态指示每个已连接代理和子代理的单独管理状态。

默认情况下，智能体列表显示主要智能体的前五 (5) 个关联智能体和子智能体，按问题总数从高到低排列。 如果有五个以上智能体，选择查看全部将显示所有智能体。

Note

只有当超过五个已连接或子代理连接到你的主代理时，查看全部按钮才会显示。

分析页面代理部分的屏幕截图。

使用

“ 使用 ”部分可帮助你了解用户如何与代理交互以及提高答案可靠性的位置。 使用情况分散在多个小节中：

  • 主题： 主题 通过将用户问题聚类化为 AI 建议的类别来帮助你获取分析见解。
  • 生成的答案率和质量：了解代理何时难以为用户问题提供答案，以及它如何使用知识源来帮助你找到提高代理的答案率和质量的方法。
  • 工具使用：了解工具的使用频率及其成功频率可帮助你了解这些工具是否对用户有用且成功。
  • 知识源使用：了解使用各个知识源的频率以及返回错误的频率有助于提高代理答案的质量和覆盖范围。

生成的答复率与质量

借助生成式答案，您的智能体可以利用 AI，结合您提供的知识来源和说明，生成对用户查询的答案。 但是，代理可能不能回答所有用户查询。 生成的答案率和质量部分跟踪、组织和分析未回答的查询和答案质量，以指导你提高代理的答案性能。

回答率和质量部分。

答案率显示所选时间段内已回答和未回答的问题数，以及一段时间内的百分比变化。

答案质量 使用 AI 衡量答案的质量。 Copilot Studio 查看一组回答的问题示例，并分析不同的质量，包括响应的完整性、相关性和基础性。 如果答案符合设定的标准，Copilot Studio 会将答案标记为 “质量良好 ”。 Copilot Studio 将不符合该标准的答案标记为 “质量差 ”。 对于 差 答案，Copilot Studio 会分配质量分级的原因，并显示分配给每个类别的答案百分比。

将鼠标悬停在图表柱状图的任意分段上，即可查看良好或欠佳质量标签中单个原因的相对权重。 工具提示同时显示用于计算百分比值的采样答复数量。

在图表下方的图例中，将鼠标悬停在任一质量标签的原因上，可在图表上突出显示该原因。

选择条形图的一段，以打开按该响应质量筛选 的用户问题 页面。 选择“ 查看问题 ”以查看配置时间段 内所有问题的未筛选列表 。

工具使用

“工具使用”部分显示一个图表和指标，用于跟踪工具随时间推移启动的频率，以及代理成功使用这些工具的频率。 它还显示了代理使用每个工具频率的趋势指标，以及成功调用工具的百分比。

图表显示在分析页面顶部定义的日期期间内使用最多的五个工具。

在图表下方的图例中，将鼠标悬停在任意工具上可使该工具在图表中突出显示。

工具使用图表和指标的截图。

若要打开侧面板，其中包含指定时间段内使用的所有工具的列表以及趋势指示器，请选择图表上的 “查看详细信息 ”。 在工具使用面板中，可以显示每个工具所用问题百分比的计算。 如果智能体具有子智能体，可以选择同时显示主要智能体和子智能体（全部）、仅主要智能体或仅子智能体的计算。

知识源使用

“知识源使用”部分提供有关代理如何使用其知识源以及这些源返回错误的频率的见解。 有关可用指标、筛选和向下钻取功能的完整详细信息，请参阅 知识源使用。

知识使用情况指标的屏幕截图。

  • Last updated on