TaskAdherenceEvaluator Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
que IEvaluator evalúa la eficacia de un sistema de inteligencia artificial para cumplir con la tarea asignada.
public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatorpublic sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
interface IEvaluatortype TaskAdherenceEvaluator = class
interface IEvaluatorPublic NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator- Herencia
-
TaskAdherenceEvaluator
- Atributos
- Implementaciones
Comentarios
TaskAdherenceEvaluator mide la precisión en que un sistema de inteligencia artificial se adhiere a la tarea asignada mediante el examen de la alineación de la respuesta proporcionada con instrucciones y definiciones presentes en el historial de conversaciones, la precisión y claridad de la respuesta, y el uso adecuado de las definiciones de herramientas proporcionadas a través ToolDefinitionsde .
Tenga en cuenta que, en este momento, TaskAdherenceEvaluator solo admite la evaluación de llamadas a herramientas definidas como AIFunctionDeclarations. Cualquier otra AITool definición que se proporcione a través ToolDefinitions de se omitirá.
TaskAdherenceEvaluator devuelve un NumericMetric valor de tipo que contiene una puntuación para "Cumplimiento de tareas". La puntuación es un número comprendido entre 1 y 5, con 1 que indica una puntuación deficiente y 5 que indica una puntuación excelente.
Nota:TaskAdherenceEvaluator es un evaluador basado en inteligencia artificial que usa un modelo de IA para realizar su evaluación. Aunque el aviso que usa este evaluador para realizar su evaluación está diseñado para ser independiente del modelo, el rendimiento de este aviso (y la evaluación resultante) puede variar en función del modelo utilizado y puede ser especialmente deficiente cuando se usa un modelo más pequeño o local.
La solicitud que TaskAdherenceEvaluator usa se ha probado con (y se ha ajustado para funcionar bien) con los siguientes modelos. Por lo tanto, es probable que el uso de este evaluador con un modelo de la lista siguiente genere los mejores resultados. (El modelo que se va a usar se puede configurar a través ChatClientde ).
GPT-4o
Constructores
| Nombre | Description |
|---|---|
| TaskAdherenceEvaluator() |
que IEvaluator evalúa la eficacia de un sistema de inteligencia artificial para cumplir con la tarea asignada. |
Propiedades
| Nombre | Description |
|---|---|
| EvaluationMetricNames |
Obtiene los Names de los EvaluationMetricgenerados por este IEvaluatorobjeto . |
| TaskAdherenceMetricName |
Obtiene el Name objeto del NumericMetric devuelto por TaskAdherenceEvaluator. |
Métodos
| Nombre | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalúa el proporcionado |
