사용자 지정 메트릭을 사용하여 에이전트 분석(미리 보기)

[이 문서는 시험판 문서이며 변경될 수 있습니다.]

자연어를 사용하여 Copilot Studio 만들려는 최대 3개의 사용자 지정 메트릭을 정의합니다. 에이전트의 사용자 지정 메트릭을 조정하여 대화형 메시지에 대한 에이전트 결과 및 비즈니스 영향을 측정합니다. 사용자 지정 메트릭은 적응형 카드 메시지에서 전송된 콘텐츠를 포함하여 에이전트 메시지 기록을 기반으로 계산됩니다.

분석 페이지의 사용자 지정 메트릭에서 레이블이 지정된 도넛형 그래프로 사용자 정의 메트릭을 그래픽으로 표시합니다.

주요 가치 제안

이 기능은 AI를 사용하여 자연어를 사용하여 정의한 사용자 지정 메트릭의 결과를 계산하는 프롬프트를 만듭니다. 메트릭은 대화형 메시지(세션) 데이터의 샘플링에 적용됩니다. 메트릭을 에이전트에 저장하기 전에 메트릭을 미세 조정하고 반복할 수 있습니다. 에이전트당 최대 3개의 사용자 지정 메트릭을 만듭니다. 샘플 세션 데이터를 사용하여 메트릭을 테스트하고 기본 제공 추론을 사용하여 결과를 검토할 수 있습니다. 그런 다음, 결과 및 비즈니스 영향을 더 잘 반영하도록 메트릭을 구체화할 수 있습니다.

사용자 지정 메트릭 만들기

1. 에이전트의 분석 페이지에서 요약 카드 위의 사용자 지정 메트릭을 선택합니다.

   

2. 사용자 지정 메트릭 만들기에서 모든 대화에서 추적하려는 결과를 기준으로 일반 언어로 측정하려는 항목을 설명합니다.

   

3. 정의한 메트릭에 대해 원하는 각 결과에 대해 결과 범주를 추가하고 이 메트릭 결과가 발생할 때 AI가 인식하는 방법을 설명합니다.

   메모

   • 각 메트릭에 대해 최대 10개의 결과 범주를 정의할 수 있습니다.
   • 일치하지 않는 모든 세션 결과는 기본 범주 기타에 매핑됩니다.

4. 다음을 선택합니다.

   AI는 메트릭 및 결과 설명과 에이전트의 기존 메타데이터를 사용하여 프롬프트를 만듭니다. 프롬프트는 세션 데이터를 기반으로 새 메트릭의 결과를 계산합니다. 새 사용자 지정 메트릭의 타일이 미리 보기 탭에 나타납니다.

5. 사용자 지정 메트릭의 프롬프트를 미리 확인하고 반복합니다. 프롬프트는 사용자 지정 메트릭 결과를 계산하는 데 사용됩니다.

사용자 지정 메트릭 편집

1. 에이전트의 분석 페이지에서 편집하려는 사용자 지정 메트릭 타일에서 세 개의 점(...)을 선택한 다음 편집을 선택합니다.

2. 사용자 지정 메트릭을 만들 때 필요에 따라 다음 설정을 편집합니다.

   • 무엇을 측정하시겠습니까?에서 비즈니스 결과를 정의하려면 어떻게 해야 할까요?
   • 범주의 텍스트를 변경하거나 범주를 삭제하는 것을 포함하여 모든 결과 범주입니다.
   • 범주 추가를 선택하여 새 결과 범주를 추가합니다.

3. 다음을 선택한 다음, 메트릭 저장을 선택합니다.

4. 사용자 지정 메트릭의 프롬프트를 미리 확인하고 반복합니다. 프롬프트는 사용자 지정 메트릭 결과를 계산하는 데 사용됩니다.

사용자 지정 메트릭의 프롬프트에서 미리 보기 및 반복

사용자 지정 메트릭 미리 보기 기능을 사용하여 메트릭의 프롬프트를 미세 조정합니다. 사용자 지정 메트릭 만들기 패널에서 사용자 지정 메트릭 을 테스트할 때 메트릭은 최대 20개의 세션 샘플링에서 데이터를 그립니다.

1. 사용자 지정 메트릭 만들기의 첫 번째 페이지에서 다음을 선택합니다.

2. 타일에 그래픽으로 표시될 때 사용자 지정 메트릭의 모양을 보려면 미리 보기를 선택합니다.

   

3. 결과를 선택하여 샘플링된 데이터에 대한 결과 목록과 각 결과에 대한 AI의 추론에 대한 설명을 봅니다.

   

4. 추론 및 결과가 올바른지 평가합니다.

5. 프롬프트를 선택하여 사용자 지정 메트릭을 측정하고 계산할 대상과 결과 범주에 대한 AI의 이해에 대한 설명을 확인합니다. 프롬프트 탭은 결과를 생성하는 데 사용되는 기본 논리에 대한 투명성과 인사이트를 제공합니다.

   

6. 프롬프트를 조정하여 보다 정확하거나 더 관련성이 있는 결과를 제공하려면 사용자 지정 메트릭 패널 만들기 의 첫 번째 페이지에서 처음에 제공한 입력을 조정합니다. 그런 다음, 조정된 프롬프트를 샘플 데이터로 다시 테스트합니다.

7. 메트릭 저장을 선택합니다.

   새 사용자 지정 메트릭 타일이 사용자 지정 메트릭 아래의 분석 페이지에 표시됩니다.

   메트릭이 만들어지면 지난 7일 동안의 세션 데이터를 기반으로 새 메트릭의 출력을 일회성으로 계산합니다. 이 초기 계산은 에이전트에 있는 세션 수에 따라 완료하는 데 다소 시간이 걸릴 수 있습니다. 초기 계산에 따라 지난 날 세션의 데이터를 기반으로 메트릭의 출력을 매일 계산합니다. 일별 계산은 표준 시간대의 밤에 발생하며 메트릭을 최신 상태로 유지합니다.

   사용자 지정 메트릭에 대한 초기 및 야간 계산의 모든 계산은 해당 기간의 모든 세션이 아닌 세션 샘플에서 수행됩니다.

사용자 지정 메트릭 삭제

1. 에이전트의 분석 페이지에서 삭제하려는 사용자 지정 메트릭 타일에서 세 개의 점(...)을 선택한 다음 삭제를 선택합니다.

2. 확인 대화 상자에서 삭제를 선택합니다.