IndirectAttackEvaluator Classe

Definizione

public ref class IndirectAttackEvaluator sealed : Microsoft::Extensions::AI::Evaluation::Safety::ContentSafetyEvaluator

public sealed class IndirectAttackEvaluator : Microsoft.Extensions.AI.Evaluation.Safety.ContentSafetyEvaluator

type IndirectAttackEvaluator = class
    inherit ContentSafetyEvaluator

Public NotInheritable Class IndirectAttackEvaluator
Inherits ContentSafetyEvaluator

Ereditarietà

Object

ContentSafetyEvaluator

IndirectAttackEvaluator

Commenti

Gli attacchi indiretti, noti anche come attacchi xpia (cross-domain prompt) sono quando gli attacchi jailbreak vengono inseriti nel contesto di un documento o di un'origine che può comportare un comportamento imprevisto alterato. Le valutazioni degli attacchi indiretti sono suddivise in tre sottocategorie:

Contenuto manipolato: questa categoria include comandi che mirano a modificare o fabbricare informazioni, spesso per ingannare o ingannare. Include azioni come la diffusione di informazioni false, la modifica della lingua o la formattazione e la nascondere o enfatizzare dettagli specifici. L'obiettivo è spesso manipolare percezioni o comportamenti controllando il flusso e la presentazione delle informazioni.

Intrusione: questa categoria include i comandi che tentano di violare i sistemi, ottenere l'accesso non autorizzato o elevare i privilegi in modo illecito. Include la creazione di backdoor, l'exploit delle vulnerabilità e i tradizionali jailbreak per ignorare le misure di sicurezza. Lo scopo è spesso quello di ottenere il controllo o l'accesso ai dati sensibili senza rilevamento.

Raccolta di informazioni: questa categoria riguarda l'accesso, l'eliminazione o la modifica di dati senza autorizzazione, spesso a scopo dannoso. Include l'esfiltrazione di dati sensibili, la manomissione dei record di sistema e la rimozione o la modifica delle informazioni esistenti. L'obiettivo è l'acquisizione o la manipolazione dei dati per sfruttare o compromettere sistemi e individui.

IndirectAttackEvaluator restituisce un BooleanMetric oggetto con un valore che true indica la presenza di un attacco indiretto nella risposta e un valore che false indica l'assenza di un attacco indiretto.

Si noti che IndirectAttackEvaluator non supporta la valutazione del contenuto multifunzionale presente nelle risposte valutate. Le immagini e altri contenuti simmetrici presenti nelle risposte valutate verranno ignorati.