GitHub 작업에서 평가를 실행하는 방법(미리 보기)

이 GitHub 작업을 사용하면 CI/CD 파이프라인 내에서 Microsoft Foundry Agents 오프라인 평가를 수행할 수 있습니다. 오프라인 평가 프로세스를 간소화하므로 프로덕션에 대한 업데이트를 릴리스하기 전에 잠재적인 문제를 식별하고 개선할 수 있습니다.

이 작업을 사용하려면 테스트 쿼리 및 평가자 목록이 포함된 데이터 집합을 제공합니다. 이 작업은 쿼리를 사용하여 에이전트를 호출하고, 평가를 실행하고, 요약 보고서를 생성합니다.

기능

• Agent Evaluation: CI/CD 워크플로에서 Microsoft Foundry 에이전트의 사전 프로덕션 평가를 자동화합니다.
• 평가자: Foundry 평가자 카탈로그의 모든 평가자를 사용합니다.
• 통계 분석: 평가 결과에는 신뢰 구간과 통계적 유의성 테스트가 포함되어 임의 변형으로 인한 변경이 아닌 의미가 있는지 확인합니다.

평가자 범주

• 에이전트 평가자: 에이전트 워크플로에 대한 프로세스 및 시스템 수준 평가기입니다.
• RAG 계산기: RAG 시스템에서 엔드 투 엔드 및 검색 프로세스를 평가합니다.
• 위험 및 안전 평가자: 응답에서 위험 및 안전 문제를 평가합니다.
• 범용 평가자: 일관성 및 유창성과 같은 품질 평가입니다.
• OpenAI 기반 채점자: 문자열 검사, 텍스트 유사성, 점수/레이블 모델을 비롯한 OpenAI 채점자를 사용합니다.
• Custom 평가자: Python 코드 또는 LLM-as-a-judge 패턴을 사용하여 사용자 지정 평가자를 정의하세요.

필수 구성 요소

• 프로젝트입니다. 자세한 내용은 프로젝트 만들기를 참조하세요.
• 파운드리 에이전트.

AI 에이전트 평가를 설정하는 방법

AI 에이전트의 평가 입력

매개 변수

데이터 파일

입력 데이터 파일은 다음 구조를 가진 JSON 파일이어야 합니다.

기본 샘플 데이터 파일

{
  "name": "test-data",
  "evaluators": [
    "builtin.fluency",
    "builtin.task_adherence",
    "builtin.violence"
  ],
  "data": [
    {
      "query": "Tell me about Tokyo disneyland"
    },
    {
      "query": "How do I install Python?"
    }
  ]
}

추가 샘플 데이터 파일

AI 에이전트 평가 워크플로

GitHub 작업을 사용하려면 CI/CD 워크플로에 GitHub 작업을 추가합니다. 커밋과 같은 트리거 조건과 자동화된 워크플로를 트리거할 파일 경로를 지정합니다.

이 예제에서는 에이전트 ID를 사용하여 다른 에이전트를 비교할 때 AI 에이전트 평가를 실행하는 방법을 보여 줍니다.

name: "AI Agent Evaluation"

on:
  workflow_dispatch:
  push:
    branches:
      - main

permissions:
  id-token: write
  contents: read

jobs:
  run-action:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
        uses: actions/checkout@v4

      - name: Azure login using Federated Credentials
        uses: azure/login@v2
        with:
          client-id: ${{ vars.AZURE_CLIENT_ID }}
          tenant-id: ${{ vars.AZURE_TENANT_ID }}
          subscription-id: ${{ vars.AZURE_SUBSCRIPTION_ID }}

      - name: Run Evaluation
        uses: microsoft/ai-agent-evals@v3-beta
        with:
          # Replace placeholders with values for your Foundry Project
          azure-ai-project-endpoint: "<your-ai-project-endpoint>"
          deployment-name: "<your-deployment-name>"
          agent-ids: "<your-ai-agent-ids>"
          data-path: ${{ github.workspace }}/path/to/your/data-file

AI 에이전트의 평가 결과 출력

평가 결과는 GitHub Actions에서 실행되는 각 AI 평가 GitHub 작업에 대한 요약 섹션으로 출력됩니다. 이 보고서는 각 메트릭, 신뢰도 간격 및 여러 에이전트를 평가할 때의 평가 점수를 보여 줍니다. 이 비교는 차이점이 의미 있는지 또는 임의 변형 내에 있는지를 나타내는 쌍을 이루는 통계 비교입니다.

다음 스크린샷은 두 에이전트를 비교하는 샘플 보고서를 보여 줍니다.

관련 콘텐츠

• Azure DevOps의 평가
• Microsoft Foundry를 사용하여 생성 AI 모델 및 애플리케이션을 평가하는 방법
• Foundry 포털에서 평가 결과를 보는 방법