Application Insights를 사용하여 원격 분석 캡처

이 문서에서는 Copilot Studio 에이전트에서 원격 분석 데이터를 캡처하여 Azure 애플리케이션 Insights 사용하는 방법을 설명합니다.

Copilot Studio 내의 네이티브 분석 기능 외에도 Application Insights에 원격 분석 데이터를 보낼 수 있습니다. 원격 분석은 다음을 추적하여 에이전트에 대한 인사이트를 제공합니다.

에이전트와 주고받은 기록된 메시지 및 이벤트
사용자 대화 중에 트리거할 항목
토픽에서 보낼 수 있는 사용자 지정 원격 분석 이벤트

중요합니다

Application Insights는 라이브 애플리케이션을 모니터링하는 데 사용할 수 있는 확장 가능한 APM(애플리케이션 성능 관리) 도구인 Azure Monitor 기능입니다. Microsoft Azure 구독이 필요합니다.

Application Insights에 Copilot Studio 에이전트 연결

Application Insights에 에이전트를 연결하려면 먼저 에이전트의 구성에 계측 키를 추가합니다.

에이전트의 설정 페이지로 이동하여 고급을 선택하세요.
Application Insights 섹션 내에서 연결 문자열을 입력합니다. 연결 문자열 찾는 방법을 알아보려면 Azure Monitor 설명서 참조하세요.
선택적으로 다음 설정 중 하나를 사용하도록 선택할 수 있습니다.
- 로그 활동: 사용하도록 설정된 경우 시스템은 들어오고 나가는 메시지 및 이벤트의 세부 정보를 기록합니다.
- 로그 중요한 활동 속성: 사용하도록 설정된 경우 로그에는 들어오고 나가는 메시지 및 이벤트에서 중요한 것으로 간주될 수 있는 특정 속성의 값이 포함됩니다. 잠재적으로 중요한 것으로 간주되는 속성은 userid, nametext및 speak (텍스트 및 말하기 속성은 메시지에만 적용됨)입니다.

Application Insights로 봇 원격 분석

Application Insights에 봇을 연결한 후 Copilot Studio 내에서 테스트하는 동안을 포함하여 사용자가 봇과 상호 작용할 때 원격 분석 데이터를 기록합니다. 기록된 원격 분석 데이터를 보려면 Azure Application Insights 리소스의 Logs 섹션으로 이동합니다.

여기에서 Kusto 쿼리를 사용하여 데이터를 쿼리하고 분석할 수 있습니다. 예제 쿼리를 참조하세요.

예제 쿼리

쿼리는 Copilot Studio에서 기록된 모든 사용자 지정 원격 분석 이벤트를 표시하는 customEvents 같은 단일 테이블을 지정하는 것만큼 간단할 수 있습니다. 하지만 Kusto 쿼리를 사용하여 다음을 포함하여 결과를 더 좁힐 수도 있습니다.

시간 간격 추가
사용자 지정 차원을 사용하여 결과를 확장합니다. 사용자 지정 차원은 사전 정의된 필드(예: 타임스탬프 또는 이벤트 이름)와 함께 로그하는 사용자 지정 속성입니다.
조건에 따라 반환되는 데이터를 제한하는 where 절 추가
내장된 Kusto 기능을 더 많이 사용하여 정보가 표시되는 내용과 방식을 결정하기

다음 예제 쿼리는 지난 14일 동안 매일 봇과 통신한 고유 사용자 수를 보여 주는 꺾은선형 차트를 생성합니다.

let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)
| render timechart

중요합니다

일부 필드 내의 데이터는 사용 중인 채널에 따라 다르며 적용 가능 여부가 다소 다릅니다. 예를 들어 사용자가 인증되고 사용자 ID가 대화에서 일관적인 경우에만 쿼리에서 고유한 사용자 수를 정확하게 확인할 수 있습니다. 각 대화에서 임의의 사용자 ID가 생성되는 익명 시나리오에서는 사용자 ID 필드가 덜 유용합니다.

질의의 테스트 대화에서 텔레메트리 데이터를 제외하십시오

봇은 테스트 중에 Copilot Studio 내에서 발생하는 대화를 포함하여 모든 대화에 대한 원격 분석을 기록합니다. 테스트 중에 수집된 원격 분석을 제외하려면 모든 이벤트를 캡처하는 designMode 사용자 지정 차원을 사용하여 쿼리를 확장하고, 쿼리에서 where 절을 사용합니다.

다음 예는 테스트 캔버스를 통해 캡처된 이벤트를 제외한 모든 사용자 지정 이벤트를 보여줍니다.

customEvents
| extend isDesignMode = customDimensions['designMode']
| where isDesignMode == "False"

사용자 지정 차원

Copilot Studio에서 받은 대부분의 특정 활동 데이터는 customDimensions 필드에 저장됩니다. 테스트 대화에서 원격 분석을 제외하기 위해 쿼리에서 사용되는 사용자 지정 차원 필드를 볼 수 있습니다.

분야	Description	샘플 값
type	활동의 유형	`message`, `conversationUpdate`, , `event`, `invoke`
채널 ID	채널 식별자	`emulator`, `directline`, , `msteams`, `webchat`
fromId	식별자에서부터	`<id>`
fromName	클라이언트의 사용자 이름	`John Bonham`, `Keith Moon`, , `Steve Smith`, `Steve Gadd`
locale	클라이언트 원본 로케일	`en-us`, `zh-cn`, `en-GB`, `de-dezh-CN`
recipientId	수신자 식별자	`<id>`
recipientName	수신자 이름	`John Bonham`, `Keith Moon`, , `Steve Smith`, `Steve Gadd`
text	메시지의 텍스트	`find a coffee shop`
designMode	테스트 캔버스 내에서 발생한 대화	`True` / `False`

모니터링 결과 보기(미리 보기)

중요합니다

이 문서에는 Microsoft Copilot Studio 미리 보기 설명서가 포함되어 있으며 변경될 수 있습니다.

미리 보기 기능은 프로덕션용이 아니며 기능이 제한되었을 수 있습니다. 이러한 기능은 공식 릴리스 이전에 제공되므로 사용자가 조기에 액세스하고 피드백을 제공할 수 있습니다.

프로덕션이 가능한 에이전트를 빌드하는 경우 Microsoft Copilot Studio 개요를 참조하세요.

Copilot Studio 대시보드 보기는 Azure Monitor Application Insights의 신호를 사용합니다. Azure 통합 문서를 통해 Application Insights를 쿼리하고 시각화를 만듭니다.

이러한 보기는 총 대화, 대기 시간, 예외, 도구 사용량 및 토픽 분석과 같은 주요 메트릭을 단일 보기로 가져옵니다. 단일 보기는 팀이 운영 상태 및 품질을 추적하고, 추세를 이해하고, 지속적으로 평가하여 애플리케이션을 개선할 수 있도록 투명성을 제공합니다.

Application Insights에서 기본 제공 모니터링 보기에 액세스하고 사용하려면 다음 단계를 수행합니다.

Application Insights 리소스로 이동합니다.
왼쪽 탐색 창에서 모니터링 탭을 선택합니다.
모니터링 탭에서 워크북을 선택합니다. 통합 문서 갤러리에서 Copilot Studio 대시보드를 엽니다.

Application Insights 통합 문서 갤러리의 스크린샷.

Copilot Studio 통합 문서의 스크린샷.

Application Insights는 애플리케이션의 상태 및 성능에 대한 인사이트를 제공하는 APM(애플리케이션 성능 모니터링)을 위한 강력한 도구입니다.

대시보드는 통합 문서를 사용자 지정하고 필요에 따라 저장할 수 있는 편집 가능한 통합 문서로 열립니다.

명령 모음에서 편집 을 선택합니다.
사용 사례에 필요한 대로 요소를 수정합니다. 요소의 세 점(...)을 선택해 편집, 추가, 이동, 크기 조정, 복제, 제거를 하세요. 예를 들어 KQL을 사용하여 기본 제공 보기에 표시되지 않는 수집 중인 사용자 지정 특성을 추적하는 타일을 추가할 수 있습니다.
저장을 선택하여 최신 변경 내용을 저장하고 필요에 따라 다른 보기를 만듭니다.
명령 모음에서 공유 아이콘을 선택하여 팀과 공유합니다.

비고

이 워크북을 팀 구성원과 공유할 때, 연결된 Application Insights 리소스의 표시된 정보를 보려면 최소한 읽기 권한 역할이 필요합니다.