이러한 FAQ(질문과 대답)는 Copilot Studio에서 분석 지원 기능의 AI 효과를 설명합니다.
생성형 AI는 분석에 어떻게 사용하나요?
Copilot Studio AI를 사용하여 생성 응답의 품질을 측정하고 클러스터를 만듭니다. 이러한 클러스터는 에이전트 성능에 대한 인사이트를 제공합니다.
생성 답변은 응답을 생성하기 위해 선택한 지식 원천을 사용합니다. 이 기능은 사용자가 제공한 피드백도 수집합니다. 분석은 LLM(대규모 언어 모델)을 사용하여 사용자와 에이전트 간의 채팅 메시지를 생성 응답의 품질을 나타내는 수준으로 분류합니다. Copilot Studio 이러한 지표를 컴파일하여 에이전트의 전반적인 성능을 요약합니다.
클러스터링에서는 LLM을 사용하여 사용자 메시지를 공유 주체에 따라 그룹으로 정렬하고 각 그룹에 설명이 포함된 이름을 제공합니다. Copilot Studio는 이러한 클러스터의 이름을 사용하여 에이전트를 개선하는 데 사용할 수 있는 다양한 유형의 인사이트를 제공합니다.
생성형 답변에 대한 응답 품질
사용 목적의 응답 품질은 무엇인가요?
응답 분석의 품질을 사용하여 에이전트 사용 및 성능에 대한 인사이트를 검색한 다음 에이전트 개선을 위한 작업을 만듭니다. 현재 분석을 사용하여 에이전트의 생성 답변 품질이 기대에 부합하는지 파악할 수 있습니다.
전반적인 품질 외에도 응답 분석 품질은 에이전트가 제대로 수행되지 않거나 의도한 목표를 수행하지 못하는 영역을 식별합니다. 생성 답변이 제대로 수행되지 않는 영역을 정의하고 품질을 개선하기 위한 조치를 취할 수 있습니다.
성능 저하를 식별할 때 품질 향상에 도움이 되는 모범 사례를 따르세요. 예를 들어 성능이 저하된 지식 원본을 식별한 후에는 품질 향상을 위해 기술 원본을 편집하거나 더 집중된 여러 원본으로 분할할 수 있습니다.
응답 품질에 대한 분석을 만드는 데 사용되는 데이터는 무엇인가요?
응답 분석의 품질은 생성된 응답 응답 샘플을 사용하여 계산됩니다. 생성 모델에서 생성 답변에 사용하는 사용자 쿼리, 에이전트 응답 및 관련 지식 원본이 필요합니다.
응답 분석의 품질은 해당 정보를 사용하여 생성 응답 품질이 좋은지, 그렇지 않은 경우 품질이 좋지 않은지 평가합니다. 예를 들어 응답 품질은 불완전하거나 관련이 없거나 완전히 근거가 없는 응답을 식별할 수 있습니다.
응답 분석의 품질 제한은 무엇이며 사용자가 이러한 제한 사항의 영향을 최소화하려면 어떻게 해야 할까요?
응답 분석의 품질은 모든 생성 응답을 사용하지 않습니다. 대신, 분석은 사용자 에이전트 세션의 샘플을 측정합니다. 성공한 생성 답변의 최소 개수보다 적은 에이전트는 응답 분석 요약의 품질을 받을 수 없습니다.
분석에서 개별 응답을 정확하게 평가하지 않는 경우가 있습니다. 집계된 수준에서는 대부분의 경우 정확해야 합니다.
응답 품질 분석은 낮은 품질의 성능을 초래한 구체적인 쿼리를 구체적으로 분석하지 않습니다. 또한 낮은 품질의 응답이 발생할 때 사용된 공통 지식 원본 또는 토픽의 분석도 제공하지 않습니다.
분석은 생성 지식을 사용하는 답변에 대해 계산되지 않습니다.
답변 완전성은 응답의 질을 평가하는 지표 중 하나입니다. 이 지표는 응답이 검색된 문서의 내용을 얼마나 완벽하게 다루었는지를 측정합니다.
시스템이 해당 질문에 대한 추가 정보가 포함된 관련 문서를 검색하지 않으면, 그 문서의 완전성 지표를 평가하지 않습니다.
책임 있는 AI를 위해 Copilot Studio 내에서 응답 분석 품질에 대한 보호는 무엇인가요?
에이전트 사용자는 분석 결과를 볼 수 없습니다. 에이전트 작성자와 관리자만 사용할 수 있습니다.
제작자와 관리자는 응답 분석의 품질만 사용하여 우수한 품질의 응답의 비율과 성능 저하에 대한 미리 정의된 이유를 확인할 수 있습니다. 제작자는 좋은 품질의 응답과 미리 정의된 이유의 비율만 볼 수 있습니다.
좋은 성능을 보장하기 위해 개발 중에 응답 품질에 대한 분석을 철저히 테스트했습니다. 하지만 드물게 반응 평가의 질이 부정확할 수 있습니다.
대화 세션을 위한 감정 분석
감정 분석의 의도된 용도는 무엇인가요?
감정 분석을 사용하여 에이전트에 대한 사용자 메시지의 AI 분석을 기반으로 대화 세션의 사용자 만족도 수준을 이해합니다. 세션의 전반적인 감정(긍정적, 부정적 또는 중립)을 이해하고, 이유를 조사하고, 이를 해결하기 위한 조치를 취할 수 있습니다.
대화 세션에서 감정을 정의하는 데 어떤 데이터가 사용되나요?
Copilot Studio는 샘플 대화 세션 집합에 대한 에이전트에 대한 사용자 메시지를 기반으로 감정 분석을 계산합니다.
감정 분석은 그 정보를 이용해 세션 중 사용자 만족도가 긍정적인지, 부정적인지, 중립적인지 평가합니다. 예를 들어, 사용자는 상담원과의 상호작용에 따라 좌절감이나 불만을 나타내는 단어와 어조를 사용할 수 있습니다. 이 경우 세션은 부정적 감정으로 분류됩니다.
감정 분석의 한계는 무엇이며, 사용자는 이러한 한계를 어떻게 완화할 수 있을까요?
감정 분석은 모든 대화 세션을 이용해 계산되는 것은 아닙니다. 대신, 분석은 사용자 에이전트 세션의 샘플을 측정합니다. 일일 최소 성공 생성 응답 수 미만의 에이전트는 감성 점수를 받을 수 없습니다.
감정 분석은 현재 생성적 답변에 의존하며, 에이전트의 감정 점수를 계산하기 위해 매일 최소 횟수의 성공적인 답변이 필요합니다.
세션에 대한 감정을 계산하려면 최소 두 개의 사용자 메시지가 있어야 합니다. 또한, 현재의 기술적 제약으로 인해 사용자 및 에이전트 메시지 포함 총 26개 이상의 세션에서는 감정 분석이 수행되지 않습니다
감정 분석은 감정 점수를 유도한 특정 사용자 메시지의 세부 내역을 제공하지 않습니다.
책임 있는 AI를 위해 Copilot Studio 내에서 감정 분석을 위한 보호 기능은 무엇인가요?
에이전트 사용자는 분석 결과를 볼 수 없습니다. 에이전트 작성자와 관리자만 사용할 수 있습니다.
감정 분석을 사용하여 모든 세션의 감정 분석 결과를 확인할 수 있습니다.
우리는 개발 과정에서 감정 분석을 철저히 테스트하여 좋은 성능을 보장했습니다. 하지만 드물게 심리 평가가 부정확할 수 있습니다.
사용자 질문의 테마
테마의 사용 목적은 무엇인가요?
이 기능은 대규모 사용자 쿼리 집합을 자동으로 분석하고 테마라는 상위 수준 항목으로 그룹화합니다. 각 테마는 사용자가 묻는 단일 상위 수준 주제를 나타냅니다. 테마는 사용자 콘텐츠의 감독되지 않는 데이터 기반 보기를 제공합니다. 이 보기를 통해 팀은 수천 개의 쿼리를 수동으로 검토하지 않고도 사용자가 가장 중요하게 사용하는 것을 이해할 수 있습니다.
클러스터를 만드는 데 사용되는 데이터는 무엇인가요?
테마 기능은 생성 답변을 트리거하는 사용자 쿼리를 사용합니다. 테마는 지난 7일간의 모든 쿼리를 분석하여 제안된 새 테마를 생성합니다.
테마는 의미 체계 유사성을 사용하여 쿼리를 그룹화합니다. 그런 다음 언어 모델을 사용하여 각 클러스터에 대한 제목 및 설명을 생성합니다. 클러스터링 품질을 개선하기 위해 제작자의 피드백(예: 좋아요/싫어요)도 수집됩니다.
테마에 대한 클러스터링의 제한 사항은 무엇이며 사용자는 이러한 제한을 어떻게 완화할 수 있나요?
테마로 성공적으로 클러스터링하는 것은 쿼리 볼륨에 따라 달라집니다. 쿼리가 충분하지 않거나 쿼리가 서로 너무 관련이 없는 경우 Copilot Studio는 쿼리를 지나치게 광범위하거나 지나치게 좁은 테마로 클러스터할 수 있습니다.
테마는 비슷한 토픽을 분할하거나 관련 없는 항목을 병합할 수 있습니다.
쿼리에서 언어를 이동하면 시간이 지남에 따라 클러스터의 일관성에 영향을 줄 수 있습니다.
정기적으로 테마를 검토하고 피드백을 제공하여 명명 품질을 향상시킬 수 있습니다.
책임 있는 AI 측면에서 Copilot Studio 내에서 테마에 대한 보호는 무엇인가요?
테마는 제작자 및 관리자에게만 표시됩니다. 콘텐츠 조정은 유해하거나 부적절한 출력의 위험을 줄이기 위해 이름과 설명을 생성할 때 적용됩니다.
사용자 지정 메트릭 분석
사용자 지정 메트릭의 용도는 무엇인가요?
제조업체는 사용자 지정 메트릭 분석을 사용하여 대화형 에이전트가 비즈니스 결과에 미치는 영향을 파악합니다. 이러한 메트릭은 절감 분석을 보완합니다. 사용자 지정 메트릭의 예로는 확인 속도, 고객 의도 분류 및 기타 도메인별 결과가 있습니다.
사용자 지정 메트릭은 에이전트가 의도한 목표를 놓친 위치를 표시할 수 있습니다. 제작자는 측정할 항목을 정의하고, 실제 세션 데이터에 대해 메트릭을 테스트하고, 결과에 따라 정의를 구체화할 수 있습니다.
사용자 지정 메트릭을 계산하는 데 사용되는 데이터는 무엇인가요?
사용자 지정 메트릭은 이전 에이전트 세션의 샘플을 사용하여 계산됩니다. 계산은 세션 중에 교환되는 대화형 메시지를 사용합니다.
AI 모델은 메트릭 정의에 따라 세션 데이터를 분류합니다. 에이전트는 샘플 전체에서 결과를 집계하여 선택한 기간에 대한 전반적인 메트릭 성능을 표시합니다.
사용자 지정 메트릭의 제한 사항은 무엇이며 사용자가 제한 사항의 영향을 최소화하는 방법은 무엇인가요?
사용자 지정 메트릭은 모든 에이전트 세션을 사용하여 계산되지 않습니다. 대신 선택한 기간의 세션 샘플을 측정합니다. 결과는 샘플을 기반으로 하므로 정확한 수치가 아닌 방향 표시기로 처리되어야 합니다.
메트릭 계산은 메트릭을 해석할 때 메시지 기록을 기반으로 한다는 점을 고려해야 합니다. 주로 토픽 및 도구와 같은 외부 메시지에서 발생하는 동작에 대한 결론을 도출하지 않습니다.
AI 모델은 세션을 잘못 분류할 수 있습니다. 집계 결과는 일반적으로 정확합니다. 정의된 범주와 일치하지 않는 세션은 대체(기타) 범주에 배치됩니다. 테스트 결과가 예상 결과와 일치하지 않는 경우 메트릭 설명 및 범주 정의를 업데이트할 수 있습니다.
메트릭이 정의된 후 에이전트의 지침 또는 구성이 크게 변경되면 메트릭이 더 이상 에이전트의 업데이트된 동작을 정확하게 반영하지 않을 수 있습니다. 에이전트를 중대한 변경을 한 후 사용자 지정 메트릭을 검토해야 합니다.
책임 있는 AI에 대한 Copilot Studio 내에서 사용자 지정 메트릭에 대한 보호는 무엇인가요?
사용자 지정 메트릭 결과는 에이전트 제조업체 및 관리자만 사용할 수 있습니다. 에이전트 사용자는 분석 결과에 액세스할 수 없습니다.
저장하기 전에 모든 사용자 지정 메트릭을 검토하고 승인합니다. 메트릭 정의 중에 샘플 세션 데이터에 대해 메트릭을 테스트하고 개별 결과 및 모델 추론을 검토합니다. 결과가 예상과 맞지 않는 경우 메트릭을 업데이트하거나 삭제할 수 있습니다. 메트릭은 명시적 확인 없이 적용되지 않습니다.
세션을 분류하는 데 사용되는 AI 생성 프롬프트가 UI에 표시되므로 모델이 메트릭 정의를 해석하는 방법을 이해할 수 있습니다. 언제든지 사용자 지정 메트릭을 편집하거나 제거할 수 있습니다.
드문 경우지만 개별 세션 분류는 정확하지 않을 수 있습니다. 결과는 개별 세션 수준이 아닌 집계로 해석되어야 합니다.