이 문서에서는 Copilot Studio 분석 기능에 사용되는 AI 기능에 대한 질문과 대답을 제공합니다.
생성형 AI는 분석에 어떻게 사용하나요?
Copilot Studio AI를 사용하여 생성 답변의 품질을 평가하고 클러스터링을 통해 사용자 쿼리의 패턴을 식별합니다. 이러한 클러스터는 에이전트 성능에 대한 인사이트를 제공합니다.
생성 답변은 응답을 생성하기 위해 선택한 지식 원천을 사용합니다. 이 기능은 사용자가 제공한 피드백도 수집합니다. 분석은 LLM(대규모 언어 모델)을 사용하여 사용자와 에이전트 간의 채팅 메시지를 생성 응답의 품질을 나타내는 수준으로 분류합니다. 이러한 분류는 에이전트 성능에 대한 요약을 제공하기 위해 집계됩니다.
클러스터링에서는 LLM을 사용하여 사용자 메시지를 공유 주체에 따라 그룹으로 정렬하고 각 그룹에 설명이 포함된 이름을 제공합니다. Copilot Studio는 이러한 클러스터의 이름을 사용하여 에이전트를 개선하는 데 사용할 수 있는 다양한 유형의 인사이트를 제공합니다.
생성형 답변에 대한 응답 품질
의도한 응답 품질 사용은 무엇인가요?
응답 분석의 품질을 사용하여 에이전트 성능을 이해하고 향상된 기능을 식별합니다. 현재 분석을 사용하여 에이전트의 생성 답변 품질이 기대에 부합하는지 파악할 수 있습니다.
전반적인 품질 외에도 응답 분석 품질은 에이전트가 제대로 수행되지 않거나 의도한 목표를 수행하지 못하는 영역을 식별합니다. 생성 답변이 제대로 수행되지 않는 위치를 식별하고 품질을 개선하기 위한 조치를 취합니다.
성능 저하를 식별할 때 품질 향상에 도움이 되는 모범 사례를 따르세요. 예를 들어 성능이 저하된 지식 원본을 식별한 후에는 품질 향상을 위해 기술 원본을 편집하거나 더 집중된 여러 원본으로 분할할 수 있습니다.
응답 품질에 대한 분석을 만드는 데 사용되는 데이터는 무엇인가요?
응답 분석의 품질은 생성 응답 상호 작용의 샘플을 기반으로 합니다. 생성 모델에서 생성 답변에 사용하는 사용자 쿼리, 에이전트 응답 및 관련 지식 원본이 필요합니다. 응답 분석의 품질은 해당 정보를 사용하여 생성 응답 품질이 좋은지, 그렇지 않은 경우 품질이 좋지 않은지 평가합니다. 예를 들어 응답 품질은 불완전하거나 관련이 없거나 완전히 근거가 없는 응답을 식별할 수 있습니다.
응답 분석의 품질 제한은 무엇이며 사용자가 이러한 제한 사항의 영향을 최소화하려면 어떻게 해야 할까요?
응답 분석의 품질은 모든 생성 응답을 사용하지 않습니다. 대신, 분석은 사용자 에이전트 세션의 샘플을 측정합니다. 성공한 생성 답변의 최소 개수보다 적은 에이전트는 응답 분석 요약의 품질을 받을 수 없습니다.
분석에서 개별 응답을 정확하게 평가하지 않는 경우가 있습니다. 집계된 수준에서는 대부분의 경우 정확해야 합니다.
응답 품질 분석은 낮은 품질의 성능을 초래한 구체적인 쿼리를 구체적으로 분석하지 않습니다. 또한 낮은 품질의 응답이 발생할 때 사용된 공통 지식 원본 또는 토픽의 분석도 제공하지 않습니다.
분석은 생성 지식을 사용하는 답변에 대해 계산되지 않습니다.
답변 완전성은 응답의 질을 평가하는 지표 중 하나입니다. 이 지표는 응답이 검색된 문서의 내용을 얼마나 완벽하게 다루었는지를 측정합니다.
시스템이 해당 질문에 대한 추가 정보가 포함된 관련 문서를 검색하지 않으면, 그 문서의 완전성 지표를 평가하지 않습니다.
책임 있는 AI를 위해 Copilot Studio 내에서 응답 분석 품질에 대한 보호는 무엇인가요?
에이전트 사용자는 분석 결과를 볼 수 없습니다. 결과는 에이전트 제조업체 및 관리자만 사용할 수 있습니다.
제작자와 관리자는 응답 분석의 품질만 사용하여 우수한 품질의 응답의 비율과 성능 저하에 대한 미리 정의된 이유를 확인할 수 있습니다. 결과는 집계되고 백분율 및 미리 정의된 범주로 표시됩니다.
좋은 성능을 보장하기 위해 개발 중에 응답 품질에 대한 분석을 철저히 테스트했습니다. 하지만 드물게 반응 평가의 질이 부정확할 수 있습니다.
대화 세션을 위한 감정 분석
감정 분석의 의도된 용도는 무엇인가요?
감정 분석을 사용하여 에이전트에 대한 사용자 메시지의 AI 분석을 기반으로 대화 세션의 사용자 만족도 수준을 이해합니다. 세션의 전반적인 감정(긍정적, 부정적 또는 중립)을 이해하고, 이유를 조사하고, 이를 해결하기 위한 조치를 취할 수 있습니다.
감정 분석에 사용되는 데이터는 무엇인가요?
감정 분석은 사용자 메시지를 에이전트에 사용하여 샘플 대화 세션 집합을 만듭니다.
감정 분석은 그 정보를 이용해 세션 중 사용자 만족도가 긍정적인지, 부정적인지, 중립적인지 평가합니다. 예를 들어, 사용자는 상담원과의 상호작용에 따라 좌절감이나 불만을 나타내는 단어와 어조를 사용할 수 있습니다. 이 경우 세션은 부정적 감정으로 분류됩니다.
감정 분석의 한계는 무엇이며, 사용자는 이러한 한계를 어떻게 완화할 수 있을까요?
감정 분석은 모든 대화 세션을 이용해 계산되는 것은 아닙니다. 대신, 분석은 사용자 에이전트 세션의 샘플을 측정합니다. 일일 최소 성공 생성 응답 수 미만의 에이전트는 감성 점수를 받을 수 없습니다.
감정 분석은 현재 생성적 답변에 의존하며, 에이전트의 감정 점수를 계산하기 위해 매일 최소 횟수의 성공적인 답변이 필요합니다.
세션에 대한 감정을 계산하려면 최소 두 개의 사용자 메시지가 있어야 합니다. 또한, 현재의 기술적 제약으로 인해 사용자 및 에이전트 메시지 포함 총 26개 이상의 세션에서는 감정 분석이 수행되지 않습니다
감정 분석은 감정 점수를 유도한 특정 사용자 메시지의 세부 내역을 제공하지 않습니다.
책임 있는 AI를 위해 Copilot Studio 내에서 감정 분석을 위한 보호 기능은 무엇인가요?
에이전트 사용자는 분석 결과를 볼 수 없습니다. 결과는 에이전트 제조업체 및 관리자만 사용할 수 있습니다.
감정 분석을 사용하여 모든 세션의 감정 분석 결과를 확인할 수 있습니다.
우리는 개발 과정에서 감정 분석을 철저히 테스트하여 좋은 성능을 보장했습니다. 하지만 드물게 심리 평가가 부정확할 수 있습니다.
사용자 질문의 테마
테마의 용도는 무엇인가요?
테마 및 테마 수준 분석을 통해 클러스터링을 통해 사용자가 대규모로 요구하는 내용을 빠르게 이해할 수 있습니다. 이 기능은 대량의 사용자 쿼리를 분석하고 사용자가 관심 있는 주요 주제를 나타내는 상위 수준 항목("테마")을 표시합니다. 이 분석을 통해 개별 대화를 검사하는 것에서 더 광범위한 패턴, 새로운 요구 사항 및 관심 영역을 식별하는 데 도움이 됩니다.
사용자 활동에 대한 구조화된 데이터 기반 개요를 제공하여 테마 수준 분석을 통해 다음을 수행할 수 있습니다.
사용자가 참여하는 가장 일반적인 토픽을 식별합니다.
커버리지의 공백이나 불분명한 사용자 경험을 감지합니다.
사용자 관심사가 시간이 지남에 따라 어떻게 진화하는지 모니터링합니다.
실제 사용자 수요에 따라 향상된 기능의 우선 순위를 지정합니다.
테마 분석은 어떻게 높은 수준에서 작동하나요?
이 기능은 사용자 쿼리를 의미 있는 그룹으로 지속적으로 구성하는 다단계 프로세스로 작동합니다. 높은 수준에서 이 프로세스에는 다음 두 가지 주요 단계가 포함됩니다.
테마 후보 생성
시스템은 최근 사용자 쿼리 집합을 분석하고 고유한 상위 수준 항목을 나타내는 후보 테마를 식별합니다. 시스템은 쿼리에서 패턴, 유사성 및 되풀이 주체를 검색하여 이러한 후보를 파생합니다.
테마별 쿼리 속성
시스템에서 후보 테마를 생성한 후 개별 쿼리를 가장 관련성이 큰 테마에 연결합니다. 각 테마는 관련 사용자 질문의 컬렉션을 나타내며 시스템이 새 쿼리를 처리함에 따라 진화합니다. 시스템은 의미 체계 유사성 및 사용자 피드백과 같은 신호를 사용하여 시간이 지남에 따라 이러한 테마를 구체화합니다. 이 구체화 프로세스를 사용하면 사용자 동작이 변경됨에 따라 표현이 적응할 수 있습니다.
테마를 만드는 데 사용되는 데이터는 무엇인가요?
사용자는 생성형 답변으로 이어지는 쿼리를 기반으로 테마를 생성합니다. 이 프로세스는 테마가 현재 사용자 관심사와 진화하는 추세를 반영하도록 하기 위해 최근 활동 창에 중점을 둡니다. 새 데이터를 사용할 수 있게 되면 시스템에서 테마를 새로 고쳐 관련성을 유지합니다.
테마는 사용자 쿼리의 패턴에 의존하기 때문에 이 기능은 분석할 의미 있는 양의 활동을 갖는 것에 따라 달라집니다. 제한된 데이터 또는 고도로 조각화된 쿼리가 있는 경우 시스템에서 테마를 생성하지 않거나 제한된 인사이트를 제공할 수 있습니다.
테마 분석의 제한 사항은 무엇이며 어떻게 완화할 수 있나요?
테마 분석은 데이터 기반 클러스터링 시스템이며, 그 효과는 사용자 쿼리의 특성과 볼륨에 따라 달라집니다. 몇 가지 잠재적인 제한 사항은 다음과 같습니다.
데이터가 부족하거나 매우 다양하면 너무 광범위하거나 좁은 테마가 발생할 수 있습니다.
밀접하게 관련된 토픽은 때때로 별도의 테마로 분할될 수 있습니다.
관련 없는 쿼리는 때때로 함께 그룹화될 수 있습니다.
시간이 지남에 따라 사용자 언어를 변경하면 테마의 일관성에 영향을 줄 수 있습니다.
테마에서 가장 많은 값을 얻으려면 다음을 수행합니다.
생성된 테마를 정기적으로 검토합니다.
품질 향상을 위해 피드백(예: 엄지 손가락 위로 또는 아래로)을 제공합니다.
테마를 정확한 분류가 아닌 방향성 인사이트로 해석합니다.
어떤 책임 있는 AI 보호가 마련되어 있습니까?
테마 클러스터링 및 분석은 책임 있는 AI 원칙을 염두에 두고 설계되었습니다.
권한 있는 제작자와 관리자는 테마를 볼 수 있는 유일한 사용자입니다.
사용자 쿼리를 볼 권한이 있는 사용자만 테마로 분석된 내용을 볼 수 있습니다.
테마는 사용자 쿼리의 콘텐츠를 반영하므로 제작자와 관리자가 볼 수 있는 정직한 요약을 제공합니다.
이러한 보호 기능은 안전하고 제어된 환경을 유지하면서 테마가 유용한 인사이트를 제공하는 데 도움이 됩니다.
사용자 지정 메트릭 분석
사용자 지정 메트릭의 용도는 무엇인가요?
사용자 지정 메트릭 분석을 사용하여 대화형 에이전트가 비즈니스 결과에 미치는 영향을 파악합니다. 이러한 메트릭은 절감 분석을 보완합니다. 사용자 지정 메트릭의 예로는 확인 속도, 고객 의도 분류 및 기타 도메인별 결과가 있습니다.
사용자 지정 메트릭은 에이전트가 의도한 목표를 놓친 위치를 표시할 수 있습니다. 측정할 항목을 정의하고, 실제 세션 데이터에 대해 메트릭을 테스트하고, 결과에 따라 정의를 구체화합니다.
사용자 지정 메트릭을 계산하는 데 사용되는 데이터는 무엇인가요?
이전 에이전트 세션 샘플을 사용하여 사용자 지정 메트릭을 계산합니다. 계산은 세션 중에 교환되는 대화형 메시지를 사용합니다.
AI 모델은 메트릭 정의에 따라 세션 데이터를 분류합니다. 에이전트는 샘플 전체에서 결과를 집계하여 선택한 기간에 대한 전반적인 메트릭 성능을 표시합니다.
사용자 지정 메트릭의 제한 사항은 무엇이며 사용자가 제한의 영향을 최소화할 수 있는 방법은 무엇인가요?
사용자 지정 메트릭은 모든 에이전트 세션을 사용하지 않습니다. 대신 선택한 기간의 세션 샘플을 측정합니다. 결과는 샘플을 기반으로 하므로 정확한 수치가 아닌 방향 표시기로 처리합니다.
메트릭 계산은 메트릭을 해석할 때 메시지 기록을 기반으로 합니다. 주로 토픽 및 도구와 같은 외부 메시지에서 발생하는 동작에 대한 결론을 도출하지 않습니다.
AI 모델은 세션을 잘못 분류할 수 있습니다. 집계 결과는 일반적으로 정확합니다. 정의된 범주와 일치하지 않는 세션은 대체(기타) 범주에 배치됩니다. 테스트 결과가 예상 결과와 일치하지 않는 경우 메트릭 설명 및 범주 정의를 업데이트할 수 있습니다.
메트릭을 정의한 후 에이전트의 지침 또는 구성을 크게 변경하는 경우 메트릭은 더 이상 에이전트의 업데이트된 동작을 정확하게 반영하지 않을 수 있습니다. 에이전트에 실질적인 변경을 가한 후 사용자 지정 메트릭을 검토하세요.
책임 있는 AI에 대한 Copilot Studio 내에서 사용자 지정 메트릭에 대한 보호는 무엇인가요?
에이전트 제조업체 및 관리자는 사용자 지정 메트릭 결과에 액세스할 수 있는 유일한 사용자입니다. 에이전트 사용자는 분석 결과에 액세스할 수 없습니다.
저장하기 전에 모든 사용자 지정 메트릭을 검토하고 승인합니다. 메트릭 정의 중에 샘플 세션 데이터에 대해 메트릭을 테스트하고 개별 결과 및 모델 추론을 검토합니다. 결과가 예상과 맞지 않는 경우 메트릭을 업데이트하거나 삭제할 수 있습니다. 메트릭은 명시적 확인 없이 적용되지 않습니다.
세션을 분류하는 데 사용되는 AI 생성 프롬프트가 UI에 표시되므로 모델이 메트릭 정의를 해석하는 방법을 이해할 수 있습니다. 언제든지 사용자 지정 메트릭을 편집하거나 제거할 수 있습니다.
드문 경우지만 개별 세션 분류는 정확하지 않을 수 있습니다. 결과는 개별 세션 수준이 아닌 집계로 해석되어야 합니다.