RelevanceEvaluator Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Um IEvaluator que avalia a 'Relevância' de uma resposta produzida por um modelo de IA.
public ref class RelevanceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RelevanceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RelevanceEvaluator = class
interface IEvaluatorPublic NotInheritable Class RelevanceEvaluator
Implements IEvaluator- Herança
-
RelevanceEvaluator
- Implementações
Comentários
RelevanceEvaluator mede o desempenho de um sistema de IA na compreensão da entrada e na geração de respostas contextualmente apropriadas. Ele retorna um NumericMetric que contém uma pontuação para 'Relevância'. A pontuação é um número entre 1 e 5, com 1 indicando uma pontuação ruim e 5 indicando uma excelente pontuação.
Pontuações de alta relevância significam a compreensão do sistema de IA sobre a entrada e sua capacidade de produzir saídas coerentes e contextualmente apropriadas. Por outro lado, pontuações de baixa relevância indicam que as respostas geradas podem estar fora do tópico, sem contexto ou insuficientes para lidar com as consultas pretendidas pelo usuário.
Nota:RelevanceEvaluator é um avaliador baseado em IA que usa um modelo de IA para executar sua avaliação. Embora o prompt que esse avaliador usa para executar sua avaliação seja projetado para ser independente de modelo, o desempenho desse prompt (e a avaliação resultante) pode variar dependendo do modelo usado e pode ser especialmente ruim quando um modelo menor/local é usado.
O prompt que RelevanceEvaluator usa foi testado (e ajustado para funcionar bem com) os modelos a seguir. Portanto, usar esse avaliador com um modelo da lista a seguir provavelmente produzirá os melhores resultados. (O modelo a ser usado pode ser configurado por meio de ChatClient.)
GPT-4o
Construtores
| Nome | Description |
|---|---|
| RelevanceEvaluator() |
Um IEvaluator que avalia a 'Relevância' de uma resposta produzida por um modelo de IA. |
Propriedades
| Nome | Description |
|---|---|
| EvaluationMetricNames |
Obtém os Names dos EvaluationMetrics produzidos por este IEvaluator. |
| RelevanceMetricName |
Obtém o Name do NumericMetric retornado por RelevanceEvaluator. |
Métodos
| Nome | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Avalia o fornecido |
