使用自定义指标对你的代理进行分析(预览版)

[本文是预发行文档,可能会有所更改。]

使用自然语言定义最多需要Copilot Studio创建的三个自定义指标。 定制代理的自定义指标,以衡量代理结果和业务对对话消息的影响。 自定义指标是根据代理消息脚本计算的,包括自适应卡片消息中发送的内容。

“分析”页面上的“自定义指标”下,以图形方式显示自定义指标,如带标签的甜甜圈图。

Important

本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。

预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈

如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述

关键价值主张

此功能使用 AI 创建一个提示,用于计算使用自然语言定义的自定义指标的结果。 该指标适用于会话消息数据的抽样分析。 可以在将指标保存在代理中之前对其进行微调和迭代。 每个代理最多创建三个自定义指标。 可以使用示例会话数据测试指标,并使用内置推理查看结果。 然后,可以优化指标,以更好地反映结果和业务影响。

创建自定义指标

  1. 在你的代理的分析页上,选择位于摘要卡上方的自定义指标

    “分析”页上的“自定义指标”按钮的屏幕截图。

  2. “创建自定义指标”中,描述想要以纯语言衡量的内容,以及要在所有对话中跟踪的结果。

    “创建自定义指标”的指标说明屏幕的屏幕截图。

  3. 对于定义的指标所需的每个可能结果,请添加结果类别并描述 AI 应如何识别此指标结果何时发生。

    注释

    • 对于每个指标,最多可以定义 10 个结果类别。
    • 任何不匹配的会话结果都映射到默认类别 “其他”。
  4. 选择“下一步”。

    AI 使用指标和结果说明以及代理的现有元数据来创建提示。 提示根据会话数据计算新指标的结果。 新的自定义指标磁贴显示在 “预览 ”选项卡中。

  5. 预览并迭代自定义指标的提示。 提示用于计算自定义指标结果。

编辑自定义指标

  1. 您的代理的分析页面上,选择要编辑的自定义指标模块上的三个点(...),然后选择“编辑”。

  2. 创建自定义指标时,根据需要编辑以下任何设置:

    • 您想要衡量的内容下,业务结果是如何定义的?
    • 任何结果类别,包括更改任何类别的文本或删除类别。
    • 通过选择 添加类别 来添加新的结果类别。
  3. 选择“ 下一步”,然后选择“ 保存指标”。

  4. 预览并迭代自定义指标的提示。 提示用于计算自定义指标结果。

预览并迭代改进自定义指标中的提示命令

使用自定义指标预览功能来微调指标提示。 在“创建自定义指标”面板上测试 自定义指标 时,该指标从最多 20 个会话的采样中提取数据。

  1. “创建自定义指标”的第一页上,选择“ 下一步”。

  2. 选择 “预览 ”以查看自定义指标在磁贴上以图形方式显示时的外观。

    自定义指标磁贴预览的屏幕截图。

  3. 选择 “结果 ”以查看抽样数据的结果列表,以及每个结果的 AI 推理说明。

    示例数据的自定义指标结果的屏幕截图。

  4. 评估推理和结果是否正确。

  5. 选择 “提示” 以查看 AI 对自定义指标要度量和计算的内容以及结果类别的说明。 “ 提示 ”选项卡提供对用于生成结果的基础逻辑的透明度和见解。

    显示 AI 生成的提示的“创建自定义指标”的“提示”选项卡的屏幕截图。

  6. 如果要优化提示,以便提供更精确的或更相关的结果,请调整最初在 创建自定义指标 面板的第一页上提供的输入。 然后使用示例数据重新测试调整后的提示。

  7. 选择“ 保存指标”。

    新的自定义指标磁贴显示在“自定义指标”下的“分析”页上。

    创建指标后,会根据过去七天的会话数据对新指标的输出进行一次性计算。 此初始计算可能需要一些时间才能完成,具体取决于代理拥有的会话数。 在初始计算之后,会根据过去一天的会话中的数据对指标的输出进行每日计算。 每日计算在您时区的夜间进行,并保持您的指标为最新状态。

    自定义指标的所有计算(包括初始计算和夜间计算)均在会话示例上执行,而不是时间段内的所有会话。

删除自定义指标

  1. 代理的分析页 上,选择要删除的自定义指标磁贴上的三个点(...),然后选择“删除”。

  2. 在确认对话框中,选择“ 删除”。