EquivalenceEvaluator 클래스
정의
중요
일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.
IEvaluator AI 모델에서 생성된 응답의 '동등성'을 다른 응답을 통해 GroundTruth제공하는 값입니다.
public ref class EquivalenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class EquivalenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype EquivalenceEvaluator = class
interface IEvaluatorPublic NotInheritable Class EquivalenceEvaluator
Implements IEvaluator- 상속
-
EquivalenceEvaluator
- 구현
설명
EquivalenceEvaluator 는 평가되는 응답이 을 통해 GroundTruth제공된 응답과 유사한 정도를 측정합니다. '동등성'에 대한 점수가 포함된 값을 반환 NumericMetric 합니다. 점수는 1에서 5 사이의 숫자이며, 1은 나쁜 점수를 나타내고 5는 우수한 점수를 나타냅니다.
참고:EquivalenceEvaluator 는 AI 모델을 사용하여 평가를 수행하는 AI 기반 평가기입니다. 이 평가자가 평가를 수행하는 데 사용하는 프롬프트는 모델 중립적으로 설계되지만 이 프롬프트의 성능(및 결과 평가)은 사용된 모델에 따라 달라질 수 있으며, 더 작은/로컬 모델을 사용할 때 특히 나빠질 수 있습니다.
사용하는 프롬프트 EquivalenceEvaluator 는 다음 모델에 대해 테스트되고 잘 작동하도록 조정되었습니다. 따라서 다음 목록의 모델과 함께 이 계산기를 사용하면 최상의 결과를 생성할 수 있습니다. (사용할 모델은 .를 통해 ChatClient구성할 수 있습니다.)
GPT-4o
생성자
| Name | Description |
|---|---|
| EquivalenceEvaluator() |
IEvaluator AI 모델에서 생성된 응답의 '동등성'을 다른 응답을 통해 GroundTruth제공하는 값입니다. |
속성
| Name | Description |
|---|---|
| EquivalenceMetricName |
에서 Name 반환NumericMetric한 값을 EquivalenceEvaluator 가져옵니다. |
| EvaluationMetricNames |
에 NameEvaluationMetric의해 생성된 s의 IEvaluators를 가져옵니다. |
메서드
| Name | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
제공된 |
