ToolCallAccuracyEvaluator Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
que IEvaluator evalúa la eficacia de un sistema de inteligencia artificial en el uso de las herramientas proporcionadas.
public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatorpublic sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
interface IEvaluatortype ToolCallAccuracyEvaluator = class
interface IEvaluatorPublic NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator- Herencia
-
ToolCallAccuracyEvaluator
- Atributos
- Implementaciones
Comentarios
ToolCallAccuracyEvaluator mide la precisión en que un sistema de inteligencia artificial usa herramientas mediante el examen de las llamadas a herramientas (es decir, FunctionCallContents) presentes en la respuesta proporcionada para evaluar la relevancia de estas llamadas a herramientas a la conversación, la corrección de parámetros para estas llamadas a herramientas con respecto a las definiciones de herramientas proporcionadas a través ToolDefinitionsde y la precisión de la extracción de valores de parámetro de la conversación proporcionada.
Tenga en cuenta que, en este momento, ToolCallAccuracyEvaluator solo admite la evaluación de llamadas a herramientas definidas como AIFunctionDeclarations. Cualquier otra AITool definición que se proporcione a través ToolDefinitions de se omitirá.
ToolCallAccuracyEvaluator devuelve un BooleanMetric valor de tipo que contiene una puntuación para "Precisión de llamada de herramienta". La puntuación es false si la llamada a la herramienta es irrelevante o contiene información no presente en la conversación y true si la llamada a herramienta es relevante con parámetros extraídos correctamente de la conversación.
Nota:ToolCallAccuracyEvaluator es un evaluador basado en inteligencia artificial que usa un modelo de IA para realizar su evaluación. Aunque el aviso que usa este evaluador para realizar su evaluación está diseñado para ser independiente del modelo, el rendimiento de este aviso (y la evaluación resultante) puede variar en función del modelo utilizado y puede ser especialmente deficiente cuando se usa un modelo más pequeño o local.
La solicitud que ToolCallAccuracyEvaluator usa se ha probado con (y se ha ajustado para funcionar bien) con los siguientes modelos. Por lo tanto, es probable que el uso de este evaluador con un modelo de la lista siguiente genere los mejores resultados. (El modelo que se va a usar se puede configurar a través ChatClientde ).
GPT-4o
Constructores
| Nombre | Description |
|---|---|
| ToolCallAccuracyEvaluator() |
que IEvaluator evalúa la eficacia de un sistema de inteligencia artificial en el uso de las herramientas proporcionadas. |
Propiedades
| Nombre | Description |
|---|---|
| EvaluationMetricNames |
Obtiene los Names de los EvaluationMetricgenerados por este IEvaluatorobjeto . |
| ToolCallAccuracyMetricName |
Obtiene el Name objeto del BooleanMetric devuelto por ToolCallAccuracyEvaluator. |
Métodos
| Nombre | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalúa el proporcionado |
