ToolCallAccuracyEvaluator Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Oggetto IEvaluator che valuta l'efficacia di un sistema di intelligenza artificiale usando gli strumenti forniti.
public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatorpublic sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
interface IEvaluatortype ToolCallAccuracyEvaluator = class
interface IEvaluatorPublic NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator- Ereditarietà
-
ToolCallAccuracyEvaluator
- Attributi
- Implementazioni
Commenti
ToolCallAccuracyEvaluator misura in che modo un sistema di intelligenza artificiale usa strumenti esaminando le chiamate degli strumenti (ad esempio, FunctionCallContents) presenti nella risposta fornita per valutare la pertinenza di queste chiamate di strumento alla conversazione, la correttezza dei parametri per queste chiamate agli strumenti in relazione alle definizioni degli strumenti fornite tramite ToolDefinitionse l'accuratezza dell'estrazione del valore del parametro dalla conversazione fornita.
Si noti che al momento supporta ToolCallAccuracyEvaluator solo la valutazione delle chiamate agli strumenti definiti come AIFunctionDeclarations. Tutte le altre AITool definizioni fornite tramite ToolDefinitions verranno ignorate.
ToolCallAccuracyEvaluator restituisce un oggetto BooleanMetric che contiene un punteggio per 'Accuratezza chiamata strumento'. Il punteggio è false se la chiamata allo strumento è irrilevante o contiene informazioni non presenti nella conversazione e true se la chiamata allo strumento è rilevante con parametri estratti correttamente dalla conversazione.
Nota:ToolCallAccuracyEvaluator è un analizzatore basato su intelligenza artificiale che usa un modello di intelligenza artificiale per eseguire la valutazione. Anche se la richiesta usata da questo analizzatore per eseguire la valutazione è progettata per essere indipendente dal modello, le prestazioni di questo prompt (e la valutazione risultante) possono variare a seconda del modello usato e possono risultare particolarmente scarse quando viene usato un modello più piccolo/locale.
La richiesta che ToolCallAccuracyEvaluator usa è stata testata su (e ottimizzata per funzionare correttamente con) i modelli seguenti. Pertanto, è probabile che l'uso di questo analizzatore con un modello dell'elenco seguente producano i risultati migliori. Il modello da usare può essere configurato tramite ChatClient.)
GPT-4o
Costruttori
| Nome | Descrizione |
|---|---|
| ToolCallAccuracyEvaluator() |
Oggetto IEvaluator che valuta l'efficacia di un sistema di intelligenza artificiale usando gli strumenti forniti. |
Proprietà
| Nome | Descrizione |
|---|---|
| EvaluationMetricNames |
Ottiene gli Nameoggetti dell'oggetto EvaluationMetricprodotto da questo IEvaluatoroggetto . |
| ToolCallAccuracyMetricName |
Ottiene l'oggetto Name dell'oggetto BooleanMetric restituito da ToolCallAccuracyEvaluator. |
Metodi
| Nome | Descrizione |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Valuta l'oggetto fornito |
