TaskAdherenceEvaluator Classe

Definizione

public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
    interface IEvaluator

type TaskAdherenceEvaluator = class
    interface IEvaluator

Public NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator

Ereditarietà

Object

TaskAdherenceEvaluator

Attributi

ExperimentalAttribute

Implementazioni

IEvaluator

Commenti

TaskAdherenceEvaluator misura in modo accurato un sistema di intelligenza artificiale conforme all'attività assegnata esaminando l'allineamento della risposta fornita con istruzioni e definizioni presenti nella cronologia delle conversazioni, l'accuratezza e la chiarezza della risposta e l'uso appropriato delle definizioni degli strumenti fornite tramite ToolDefinitions.

Si noti che al momento supporta TaskAdherenceEvaluator solo la valutazione delle chiamate agli strumenti definiti come AIFunctionDeclarations. Tutte le altre AITool definizioni fornite tramite ToolDefinitions verranno ignorate.

TaskAdherenceEvaluator restituisce un oggetto NumericMetric che contiene un punteggio per "Conformità attività". Il punteggio è un numero compreso tra 1 e 5, con 1 che indica un punteggio scarso e 5 che indica un punteggio eccellente.

Nota:TaskAdherenceEvaluator è un analizzatore basato su intelligenza artificiale che usa un modello di intelligenza artificiale per eseguire la valutazione. Anche se la richiesta usata da questo analizzatore per eseguire la valutazione è progettata per essere indipendente dal modello, le prestazioni di questo prompt (e la valutazione risultante) possono variare a seconda del modello usato e possono risultare particolarmente scarse quando viene usato un modello più piccolo/locale.

La richiesta che TaskAdherenceEvaluator usa è stata testata su (e ottimizzata per funzionare correttamente con) i modelli seguenti. Pertanto, è probabile che l'uso di questo analizzatore con un modello dell'elenco seguente producano i risultati migliori. Il modello da usare può essere configurato tramite ChatClient.)

GPT-4o