Azure SRE 에이전트에서 인시던트 값 추적

인시던트를 처리하기 위해 AI 에이전트를 배포했습니다. 경영진은 알고 싶어 합니다: 반복 업무 부담이 줄어들고 있나요? 어떤 인시던트를 스스로 해결하고 있나요? 투자 대비 효과(ROI)를 얻고 있나요?

오늘 이러한 질문에 답한다는 것은 원격 분석을 쿼리하고 티켓을 상호 참조하며 어떤 응답 계획이 작동하는지 추측하는 것을 의미합니다. 에이전트가 수행한 작업, 각 응답 계획의 수행 방식 또는 완화 속도가 개선되고 있는지 여부를 보여 주는 단일 보기는 없습니다.

인시던트 메트릭 대시보드

인시던트 메트릭>으로 이동하여 대시보드를 확인합니다.

스파크라인 추세와 인시던트 요약 선 차트가 표시된 5개의 지표 카드가 있는 인시던트 메트릭 대시보드의 스크린샷.

메트릭 카드

각 카드에는 개수, 총 인시던트 비율 및 주별 변경이 포함된 스파크라인이 표시됩니다.

메트릭 그것은 당신에게 무엇을 알려줍니다
검토된 인시던트 선택한 시간 범위에서 에이전트가 조사한 총 인시던트 수
에이전트에 의해 완화됨 자율적으로 해결된 인시던트 - 핵심 ROI 메트릭
에이전트 지원 에이전트가 조사 데이터를 제공하고 인간이 해결을 완료한 인시던트
사용자에 의해 완화됨 사람이 완전히 해결한 인시던트 - 잠재적인 자동화 기회
보류 중인 사용자 작업 사용자 입력을 기다리는 인시던트 - 현재 백로그

인시던트 요약 차트는 추세를 파악할 수 있도록 시간에 따른 다섯 가지 메트릭을 모두 표시합니다.

응답 계획 세부 분석

차트 아래에서 응답 계획 그리드는 계획당 성능을 분석합니다. 인시던트 기록과 근본 원인 범주를 자세히 확인하려면 플랜을 클릭하세요.

이것이 바로 결정이 일어나는 곳입니다. 어떤 계획이 자율 모드에서 실행되어 사람의 개입 없이 인시던트를 해결하는지, 그리고 어떤 계획이 여전히 승인을 필요로 하는지 확인할 수 있습니다. 자율 완화가 없는 계획은 지침을 조정하거나 자율성 수준을 높이기 위한 신호입니다.

의도 충족 점수

의도 충족 점수는 에이전트가 업무를 얼마나 효과적으로 해결하는지를 1~5점 척도로 측정합니다. 각 스레드가 완료되면 자동화된 평가가 결과에 점수를 매기게 됩니다.

점수 Meaning
5 예외적으로 해결됨 - 예상을 초과했습니다.
4 잘 해결됨 - 성공적으로 완료됨
3 부분적으로 해결됨 — 진전이 있었지만 완전히 해결되지는 않음
2 잘못 해결됨 - 시도되었지만 크게 실패했습니다.
1 완전히 해결되지 않았습니다. 핵심 목표를 해결하지 못했습니다.

개요 대시보드의 의도 메트 카드는 일일 추세 스파크라인을 사용하여 지난 30일 동안의 모든 스레드의 평균 점수를 보여 줍니다. 점수는 인시던트 스레드, 예약된 작업 스레드 및 대화를 단일 품질 메트릭으로 결합합니다.

의도 충족 점수 매기기는 완전히 자동이며 구성이 필요하지 않습니다.

팁 (조언)

의도 충족 점수가 예상보다 낮은 경우 Session Insights 의 개별 스레드를 검토하여 에이전트가 어려움을 겪는 위치를 파악합니다.

인시던트 개요

에이전트가 처리하는 모든 인시던 트를 실시간으로 보려면 왼쪽 사이드바의 인시던트로 이동합니다. 각 행은 에이전트의 조사 스레드에 연결됩니다. 에이전트가 호출한 도구, 발견된 증거 및 권장 사항을 검토합니다.

일일 보고서

에이전트는 왼쪽 사이드바의 일일 보고서에서 자동화된 일일 보고서를 생성합니다.

보안 결과, 인시던트 요약, 리소스 상태 메트릭 및 권장 작업을 보여 주는 일일 보고서

해당 날짜 보고서를 볼 날짜를 선택합니다. 각 보고서는 다음을 다룹니다.

  • 보안 결과 - 연결된 리포지토리의 CVE 취약성, 심각도별로 그룹화됨
  • 인시던트 — 활성, 완화 및 해결 건수와 각 인시던트별 세부 정보
  • 상태 및 성능 - 가용성, CPU 및 메모리 메트릭을 사용하는 리소스별 상태
  • 권장 작업 - 설명 및 예상 작업이 있는 우선 순위가 지정된 작업 항목

매일 보고서는 "하룻밤 사이에 무슨 일이 일어났는가?" 아침 루틴을 대체합니다. 정보가 컴파일되고 대기 중입니다.

제한

Resource 제한
성과 기록표 데이터 Application Insights에 보존됨(작업 영역 보존 정책 따르기)
일일 보고서 하루에 한 번 생성됨
의도 충족 점수 매기기 인시던트, 예약된 작업 및 대화에 자동으로 적용

시작하기

인시던트 추적이 기본 제공되어 에이전트가 인시던트 처리를 시작하면 > 인시던트 메트릭을 엽니다.

Resource 학습할 내용
응답 계획 설정 추적 데이터를 생성하는 응답 계획 구성
Capability 추가되는 내용
인시던트 대응 자동화 각 인시던트 유형에 대한 응답 계획 구성
일정에 따라 작업 자동화 Intent Met 점수에 반영되는 반복 작업 설정
에이전트 사용량 모니터링 인시던트 메트릭과 함께 AAU 사용량 추적
에이전트 인사이트 검토 에이전트 성능의 스레드별 정성적 평가
에이전트 작업 감사 인시던트 조사 중의 특정 조치 검토