RelevanceEvaluator Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
que IEvaluator evalúa la "Relevancia" de una respuesta producida por un modelo de IA.
public ref class RelevanceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RelevanceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RelevanceEvaluator = class
interface IEvaluatorPublic NotInheritable Class RelevanceEvaluator
Implements IEvaluator- Herencia
-
RelevanceEvaluator
- Implementaciones
Comentarios
RelevanceEvaluator mide el rendimiento de un sistema de inteligencia artificial para comprender la entrada y generar respuestas contextualmente adecuadas. Devuelve un NumericMetric valor de tipo que contiene una puntuación para "Relevancia". La puntuación es un número comprendido entre 1 y 5, con 1 que indica una puntuación deficiente y 5 que indica una puntuación excelente.
Las puntuaciones de alta relevancia indican la comprensión del sistema de inteligencia artificial de la entrada y su capacidad para generar salidas coherentes y contextualmente adecuadas. Por el contrario, las puntuaciones de relevancia baja indican que las respuestas generadas pueden ser fuera del tema, faltando en contexto o insuficientes para abordar las consultas deseadas del usuario.
Nota:RelevanceEvaluator es un evaluador basado en inteligencia artificial que usa un modelo de IA para realizar su evaluación. Aunque el aviso que usa este evaluador para realizar su evaluación está diseñado para ser independiente del modelo, el rendimiento de este aviso (y la evaluación resultante) puede variar en función del modelo utilizado y puede ser especialmente deficiente cuando se usa un modelo más pequeño o local.
La solicitud que RelevanceEvaluator usa se ha probado con (y se ha ajustado para funcionar bien) con los siguientes modelos. Por lo tanto, es probable que el uso de este evaluador con un modelo de la lista siguiente genere los mejores resultados. (El modelo que se va a usar se puede configurar a través ChatClientde ).
GPT-4o
Constructores
| Nombre | Description |
|---|---|
| RelevanceEvaluator() |
que IEvaluator evalúa la "Relevancia" de una respuesta producida por un modelo de IA. |
Propiedades
| Nombre | Description |
|---|---|
| EvaluationMetricNames |
Obtiene los Names de los EvaluationMetricgenerados por este IEvaluatorobjeto . |
| RelevanceMetricName |
Obtiene el Name objeto del NumericMetric devuelto por RelevanceEvaluator. |
Métodos
| Nombre | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalúa el proporcionado |
