RelevanceTruthAndCompletenessEvaluator Classe

Definizione

Oggetto IEvaluator che valuta la "pertinenza", "Verità" e "Completezza" di una risposta prodotta da un modello di intelligenza artificiale.

public ref class RelevanceTruthAndCompletenessEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator
[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator
public sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator
[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type RelevanceTruthAndCompletenessEvaluator = class
    interface IEvaluator
type RelevanceTruthAndCompletenessEvaluator = class
    interface IEvaluator
Public NotInheritable Class RelevanceTruthAndCompletenessEvaluator
Implements IEvaluator
Ereditarietà
RelevanceTruthAndCompletenessEvaluator
Attributi
Implementazioni

Commenti

RelevanceTruthAndCompletenessEvaluator restituisce tre NumericMetrics che contengono punteggi per "Pertinenza (RTC)", "Verità (RTC)" e "Completezza (RTC)" rispettivamente. Ogni punteggio è un numero compreso tra 1 e 5, con 1 che indica un punteggio scadente e 5 che indica un punteggio eccellente.

Nota:RelevanceTruthAndCompletenessEvaluator è un analizzatore basato su intelligenza artificiale che usa un modello di intelligenza artificiale per eseguire la valutazione. Anche se la richiesta usata da questo analizzatore per eseguire la valutazione è progettata per essere indipendente dal modello, le prestazioni di questo prompt (e la valutazione risultante) possono variare a seconda del modello usato e possono risultare particolarmente scarse quando viene usato un modello più piccolo/locale.

La richiesta che RelevanceTruthAndCompletenessEvaluator usa è stata testata su (e ottimizzata per funzionare correttamente con) i modelli seguenti. Pertanto, è probabile che l'uso di questo analizzatore con un modello dell'elenco seguente producano i risultati migliori. Il modello da usare può essere configurato tramite ChatClient.)

GPT-4o

Costruttori

Nome Descrizione
RelevanceTruthAndCompletenessEvaluator()

Oggetto IEvaluator che valuta la "pertinenza", "Verità" e "Completezza" di una risposta prodotta da un modello di intelligenza artificiale.

Proprietà

Nome Descrizione
CompletenessMetricName

Ottiene l'oggetto Name dell'oggetto NumericMetric restituito da RelevanceTruthAndCompletenessEvaluator per 'Completeness'.

EvaluationMetricNames

Ottiene gli Nameoggetti dell'oggetto EvaluationMetricprodotto da questo IEvaluatoroggetto .

RelevanceMetricName

Ottiene l'oggetto Name dell'oggetto NumericMetric restituito da RelevanceTruthAndCompletenessEvaluator per 'Pertinenza'.

TruthMetricName

Ottiene l'oggetto Name dell'oggetto NumericMetric restituito da RelevanceTruthAndCompletenessEvaluator per 'Truth'.

Metodi

Nome Descrizione
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Valuta l'oggetto fornito modelResponse e restituisce un oggetto EvaluationResult contenente uno o più EvaluationMetricoggetti .

Metodi di estensione

Nome Descrizione
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Valuta l'oggetto fornito modelResponse e restituisce un oggetto EvaluationResult contenente uno o più EvaluationMetricoggetti .

EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Valuta l'oggetto fornito modelResponse e restituisce un oggetto EvaluationResult contenente uno o più EvaluationMetricoggetti .

EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Valuta l'oggetto fornito modelResponse e restituisce un oggetto EvaluationResult contenente uno o più EvaluationMetricoggetti .

EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Valuta l'oggetto fornito modelResponse e restituisce un oggetto EvaluationResult contenente uno o più EvaluationMetricoggetti .

EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Valuta l'oggetto fornito modelResponse e restituisce un oggetto EvaluationResult contenente uno o più EvaluationMetricoggetti .

EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)

Valuta l'oggetto fornito modelResponse e restituisce un oggetto EvaluationResult contenente uno o più EvaluationMetricoggetti .

Si applica a

Vedi anche