Scheda applicazione: agenti Microsoft Security Copilot

Che cos'è una scheda applicazione o piattaforma?

Le schede microsoft per applicazioni e piattaforme sono progettate per aiutarti a comprendere come funziona la nostra tecnologia di intelligenza artificiale, le scelte che i proprietari delle applicazioni possono fare che influenzano le prestazioni e il comportamento dell'applicazione e l'importanza di considerare l'intera applicazione, inclusa la tecnologia, le persone e l'ambiente. Le schede applicazione vengono create per le applicazioni di intelligenza artificiale e le schede della piattaforma vengono create per i servizi della piattaforma di intelligenza artificiale. Queste risorse possono supportare lo sviluppo o la distribuzione di applicazioni personalizzate e possono essere condivise con utenti o stakeholder interessati.

Come parte del suo impegno per l'IA responsabile, Microsoft rispetta sei principi fondamentali: equità, affidabilità e sicurezza, privacy e sicurezza, inclusività, trasparenza e responsabilità. Questi principi sono incorporati in Responsible AI Standard, che guida i team nella progettazione, compilazione e test di applicazioni di intelligenza artificiale. Le schede delle applicazioni e della piattaforma svolgono un ruolo fondamentale nell'operazionalizzazione di questi principi offrendo trasparenza sulle funzionalità, gli usi previsti e le limitazioni. Per altre informazioni dettagliate, i lettori sono invitati a esplorare il Report sulla trasparenza responsabile dell'intelligenza artificiale di Microsoft e il Codice di condotta di Microsoft Enterprise AI Services, che descrive come interagire responsabilmente con l'IA.

Panoramica

Microsoft Security Copilot è una soluzione di sicurezza generativa basata su intelligenza artificiale che consente di aumentare l'efficienza e le funzionalità dei difensori per migliorare i risultati della sicurezza a velocità e scalabilità della macchina. Security Copilot offre un linguaggio naturale, un'esperienza copilot assistiva che consente ai professionisti della sicurezza e agli amministratori IT di gestire un'ampia gamma di scenari end-to-end, tra cui la risposta agli eventi imprevisti, la ricerca delle minacce, la raccolta di informazioni e la gestione della postura.

Security Copilot è progettato tenendo presente l'integrazione e offre un'esperienza autonoma immersiva in https://securitycopilot.microsoft.com. La piattaforma si integra perfettamente con i prodotti nel portfolio di sicurezza Microsoft, ad esempio Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra e Microsoft Purview e servizi di terze parti supportati.

Un agente Security Copilot genera output e può eseguire azioni in base alla logica configurata, alle autorizzazioni e ai trigger definiti dal cliente. I clienti possono usare agenti Security Copilot autonomi per automatizzare i flussi di lavoro di sicurezza, accelerare i tempi di risposta, assegnare priorità ai rischi e ridurre i carichi di lavoro manuali, mantenendo il controllo completo. L'autonomia dell'agente si riferisce alla capacità di un agente di intraprendere azioni in modo indipendente all'interno di limiti definiti.

Un amministratore (Security Copilot proprietario) individua e distribuisce gli agenti tramite il portale di Security Copilot e l'Archivio sicurezza, con alcuni agenti presenti anche nelle esperienze dei prodotti di sicurezza Microsoft incorporate. L'amministratore imposta l'identità dell'agente e configura il controllo degli accessi in base al ruolo per l'agente.

Gli utenti previsti includono analisti SOC, amministratori IT, amministratori della sicurezza dei dati e delle identità, analisti di conformità e responsabili della sicurezza, ad esempio chief information security officer (CISO).

Security Copilot dispone della certificazione ISO 42001, che conferma che una terza parte indipendente ha esaminato l'applicazione da parte di Microsoft del framework e delle funzionalità necessarie per gestire in modo efficace i rischi e le opportunità associati allo sviluppo, alla distribuzione e al funzionamento continui dei sistemi Microsoft AI.

Per altre informazioni, vedere Che cos'è Microsoft Security Copilot?, esperienze Microsoft Security Copilot e Scheda applicazione per Security Copilot.

Termini chiave

Nella tabella seguente viene fornito un glossario dei termini chiave correlati agli agenti Microsoft Security Copilot.

Funzionalità o funzionalità principali

Le funzionalità e le funzionalità principali della tabella seguente descrivono le Microsoft Security Copilot progettate per eseguire e le relative prestazioni tra le attività supportate.

Security Copilot è una soluzione di sicurezza basata su intelligenza artificiale che opera sia in modo assistito che come sistema agentico autonomo. Per comprendere l'autonomia dell'agente, considerare quanto segue:

• Trigger di attivazione : quali condizioni o azioni dell'utente causano l'esecuzione dell'agente
• Autorizzazioni di accesso : dati, sistemi o risorse che l'agente può usare
• Diritti di azione : quali azioni l'agente è autorizzato a intraprendere autonomamente

Le sezioni seguenti descrivono le principali funzionalità agenti che sono alla base del modo in cui gli agenti ragionano, pianificano, ricordano, si adattano ed estendono la loro portata.

Ragionamento

Security Copilot agenti usano il modello linguistico di grandi dimensioni sottostante per analizzare il contesto disponibile, valutare i segnali e determinare la linea d'azione più appropriata. Ad esempio, l'agente di valutazione del phishing valuta il contenuto della posta elettronica, la reputazione del mittente e i segnali comportamentali per produrre un verdetto di classificazione con una logica del linguaggio naturale. Gli agenti espongono il ragionamento in modo trasparente in modo che gli analisti possano esaminare, convalidare o ignorare le conclusioni prima di agire su di essi.

Pianificazione

Gli agenti operano su trigger definiti che indicano al sistema agentic di avviare una sequenza strutturata di azioni verso un obiettivo. Gli agenti possono essere configurati per:

• L'esecuzione viene eseguita automaticamente in base a una pianificazione, ad esempio l'agente di intelligence per le minacce viene eseguito ogni sette giorni.
• Eseguire manualmente su richiesta quando necessario.

Questa progettazione offre agli agenti un modello di esecuzione diretto agli obiettivi in cui il sistema analizza quando e come agire per completare l'attività.

Memoria

Security Copilot agenti possono conservare le informazioni nel tempo, denominate memoria. La memoria consente a un agente di incorporare input passati nel comportamento futuro, a seconda di come l'agente è progettato e configurato.

La memoria può includere commenti e suggerimenti forniti dagli utenti. Gli agenti possono usare questo feedback per modificare le risposte o le azioni nelle interazioni successive.

Adattabilità

Security Copilot agenti sono progettati per adattarsi in base al feedback degli utenti e al contesto operativo, continuando a operare all'interno dell'ambito definito dall'identità, dalle autorizzazioni e dai trigger configurati.

• Ciclo di feedback: Security Copilot proprietari e collaboratori possono fornire commenti e suggerimenti sulle risposte di un agente. Questo feedback viene archiviato nella memoria dell'agente e può influenzare gli output futuri, a seconda della progettazione e della configurazione dell'agente.
• Messa a terra contestuale: durante l'elaborazione della richiesta, Security Copilot arricchisce le richieste usando la messa a terra. Questo processo incorpora dati aziendali rilevanti, plug-in abilitati e intelligence sulle minacce in modo che le risposte riflettano il contesto corrente.
• Identità e autorizzazioni configurabili: gli agenti possono essere aggiornati dopo l'installazione per modificare identità, trigger e parametri. Ciò consente agli agenti di allinearsi ai flussi di lavoro e ai requisiti in continua evoluzione.

Estendibilità

• Plug-in: gli agenti usano i plug-in per raggiungere servizi esterni tramite API, tra cui ricerche sulla reputazione, intelligence sulle minacce e dati degli endpoint. Sono supportati sia i plug-in compilati da Microsoft che i plug-in creati dai partner. Per altre informazioni, vedere Panoramica dei plug-in.
• Connettori: app per la logica e connettori Copilot Studio eseguono il wrapping dell'API Security Copilot, consentendo a sviluppatori e utenti di chiamare la piattaforma da flussi di lavoro di automazione esterni. Per altre informazioni, vedere Panoramica dei connettori.
• Agenti personalizzati: gli sviluppatori possono creare agenti personalizzati su misura per casi d'uso specifici e aggiungerli all'ecosistema Security Copilot tramite la piattaforma per sviluppatori. Per altre informazioni, vedere Sviluppare agenti personalizzati.
• Archivio sicurezza: gli agenti Microsoft e partner predefiniti possono essere individuati e distribuiti dalla libreria di agenti incorporata e dall'archivio sicurezza.
• Esperienze incorporate: gli agenti operano non solo nel portale autonomo Security Copilot, ma sono anche incorporati nel più ampio ecosistema di sicurezza Microsoft, tra cui Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra e Microsoft Purview.

Usi previsti

Microsoft Security Copilot agenti sono progettati per professionisti della sicurezza e amministratori IT per supportare flussi di lavoro di sicurezza, ad esempio raccolta e correlazione di intelligence. Gli agenti possono operare all'interno delle autorizzazioni definite dall'amministratore e semplificare le attività che altrimenti potrebbero richiedere un notevole sforzo manuale, mantenendo il controllo degli utenti. Alcuni esempi di casi d'uso degli agenti previsti includono:

• Briefing sull'intelligence sulle minacce: l'agente di intelligence per le minacce genera report di intelligence sulle minacce tempestivi e dettagliati correlando i dati Microsoft Defender Threat Intelligence, Gestione della superficie di attacco esterna di Microsoft Defender segnali (EASM) e contesto del cliente in tempo reale. Gli analisti della sicurezza possono usare questo agente per sostituire ore o giorni di raccolta e correlazione dell'intelligence manuale con un report generato in minuti.

• Analisi dei dati di sicurezza (Microsoft Defender XDR):l'agente degli analisti della sicurezza aiuta gli analisti della sicurezza a identificare, valutare e assegnare priorità ai rischi in grandi volumi di dati di sicurezza. L'agente esegue sia attività di analisi di base come l'analisi dei modelli, l'analisi delle tendenze e la visualizzazione, sia attività avanzate come il rilevamento di anomalie, il clustering, l'assegnazione dei punteggi dei rischi e la modellazione predittiva. Integra i dati di Microsoft Defender XDR, Microsoft Sentinel Log Analytics, Microsoft Sentinel Data Lake e i file CSV caricati, generando informazioni dettagliate con priorità con un'analisi completa delle evidenze in un'esperienza di chat interattiva e senza codice.

• Operazioni di sicurezza e risposta agli eventi imprevisti (Microsoft Defender XDR):Security operations and incident response (Microsoft Defender XDR):

  • L'agente di valutazione del phishing valuta i messaggi di posta elettronica di phishing segnalati dall'utente durante l'invio, classifica i verdetti con ragionamento trasparente e incorpora il feedback degli analisti nel tempo.
  • L'agente di rilevamento dinamico delle minacce viene eseguito continuamente in background per individuare le minacce nascoste e le lacune negli ambienti Defender e Microsoft Sentinel correlando avvisi, eventi, anomalie e intelligence sulle minacce.

• Ricerca delle minacce (Microsoft Defender XDR): l'agente di ricerca delle minacce consente la ricerca di minacce end-to-end usando il linguaggio naturale. Genera query KQL, interpreta i risultati, visualizza informazioni dettagliate e guida gli analisti attraverso sessioni di ricerca complete per trovare le minacce più velocemente e con maggiore fiducia.

• Gestione delle identità e degli accessi (Microsoft Entra):Identity and Access Management (Microsoft Entra):

  • L'agente di ottimizzazione dell'accesso condizionale analizza i criteri di accesso condizionale e consiglia miglioramenti in base alle procedure consigliate e ai principi di Zero Trust Microsoft.
  • Identity Risk Management Agent consente agli amministratori di identità di analizzare i potenziali rischi e di intervenire per proteggere gli asset critici.

• Gestione degli endpoint (Microsoft Intune):

  • L'agente di correzione delle vulnerabilità usa i dati di Defender per monitorare le vulnerabilità e assegnare priorità alla correzione con le valutazioni dei rischi basate sull'intelligenza artificiale.
  • L'agente di configurazione dei criteri consente agli amministratori di importare documenti o scrivere istruzioni in linguaggio normale per trovare le impostazioni corrispondenti nel catalogo delle impostazioni di Intune e creare criteri.
  • L'agente di revisione delle modifiche valuta l'effetto delle richieste di approvazione in Intune e formula raccomandazioni per le azioni che gli amministratori possono intraprendere.

• Analisi della sicurezza dei dati (Microsoft Purview):

  • L'agente di valutazione in Insider Risk Management valuta gli avvisi in base al rischio di utenti, file e attività, ordinandoli automaticamente in categorie con priorità per consentire ai team di sicurezza di concentrarsi sui casi a più alto rischio.
  • Purview Triage Agent in Data Loss Prevention valuta gli avvisi DLP in base al rischio di riservatezza, al rischio di esfiltrazione e ai rischi dei criteri, consentendo agli amministratori della sicurezza dei dati di agire sugli eventi imprevisti più critici.

• Flussi di lavoro agenti personalizzati: gli sviluppatori possono creare e distribuire agenti personalizzati usando l'elaborazione del linguaggio naturale, caricando il manifesto dell'agente o usando gli strumenti MCP personalizzati in base ai casi d'uso specifici della sicurezza dell'organizzazione, estendendo le funzionalità dell'agente tramite plug-in e connettori ai servizi Microsoft e non Microsoft. Per altre informazioni, vedere Agenti personalizzati.

  È anche possibile creare un agente di chat interattivo quando gli agenti e gli utenti devono collaborare per un'esperienza guidata per risolvere un problema. Per altre informazioni, vedere Interactive Agent.

Modelli e dati di training

Microsoft Security Copilot usa Azure modelli di linguaggio di grandi dimensioni OpenAI di Foundry Models venduti da Azure per potenziare le esperienze in linguaggio naturale. Questi modelli non vengono sottoposti a training sui dati dei clienti Security Copilot. Le funzionalità del modello variano in ragionamento, velocità, limitazioni e scenari supportati.

Security Copilot incorpora anche conoscenze e contesti specifici della sicurezza tramite plug-in e messa a terra, che forniscono al LLM dati aziendali rilevanti, informazioni sulle minacce e contenuti autorevoli in fase di inferenza anziché tramite il training del modello.

Prestazioni

Security Copilot è progettato per operare in ambienti di sicurezza aziendali in cui vengono generati grandi volumi di segnali di sicurezza in tempo reale nei prodotti Microsoft Security e in altre origini dati configurate dall'organizzazione. Integra i segnali provenienti da queste origini, combinando l'elaborazione in tempo reale dei dati di log strutturati con il ragionamento investigativo. Questo è progettato per consentire il rilevamento, l'analisi e la traccia dell'origine e dell'impatto degli eventi imprevisti di sicurezza in più origini dati.

Security Copilot viene eseguito nell'infrastruttura iperscalabile di Microsoft e in un livello di orchestrazione specifico della sicurezza, destinato a supportare prestazioni scalabili e resilienti in scenari ripetuti di rilevamento e analisi delle minacce.

Gli agenti estendono Security Copilot capacità di agire sui segnali di sicurezza eseguendo attività di sicurezza definite tramite autorizzazioni configurate dall'amministratore. Gli agenti ragionano sui segnali disponibili, pianificano ed eseguono azioni strutturate e producono output come la valutazione delle decisioni, i report di intelligence e le linee guida per la correzione basate su dati aziendali e di intelligence sulle minacce in tempo reale. L'esecuzione dell'agente è trasparente tramite le mappe dei nodi passo-passo, consentendo agli analisti di esaminare i passaggi generati (non un riepilogo approfondito delle azioni specifiche eseguite in ogni nodo) e convalidare i risultati tra le esecuzioni.

L'affidabilità delle prestazioni è ulteriormente supportata tramite agenti predefiniti di Microsoft preconfigurati, testati in base a flussi di lavoro rappresentativi, e agenti personalizzati, in cui un file YAML manifesto può contribuire a promuovere un comportamento più coerente specificando funzionalità, strumenti, trigger e limiti operativi. Quando le istruzioni del manifesto sono chiaramente definite, l'agente può essere in grado di interpretare meglio l'attività, selezionare le azioni appropriate e operare nell'ambito previsto. Per altre informazioni, vedere Agenti personalizzati.

Per gli agenti interattivi, le prestazioni vengono modellate principalmente tramite lo scambio iterativo tra l'agente e l'utente. L'agente produce una risposta iniziale e l'utente affina il contesto tramite richieste di completamento in base alla superficie dell'agente. Questa interazione back-and-forth consente all'utente di guidare in modo incrementale l'agente verso risultati più accurati e mirati rispetto a una singola esecuzione autonoma. Per altre informazioni, vedere Agenti interattivi.

Limitazioni

Comprendere le limitazioni di Security Copilot è importante per garantire che venga usato entro limiti sicuri ed efficaci. Anche se i clienti sono invitati a usare Security Copilot nei flussi di lavoro di sicurezza, è importante notare che Security Copilot non è stato progettato per ogni possibile scenario. Quando si sceglie un caso d'uso, fare riferimento al codice di condotta di Microsoft Enterprise AI Services e alle considerazioni seguenti:

• Stato dell'anteprima pubblica: alcuni agenti sono in anteprima pubblica e possono essere modificati in modo sostanziale prima della disponibilità generale. Microsoft non fornisce alcuna garanzia, esplicita o implicita, rispetto a queste funzionalità. Come per qualsiasi output di IA, i clienti devono esaminare il processo decisionale dell'agente prima di agire sui relativi output.
• Accuratezza e completezza: come qualsiasi tecnologia basata sull'intelligenza artificiale, Security Copilot non ottiene tutto a posto. Le risposte possono essere imprecise, incomplete o obsolete, in particolare se i plug-in pertinenti non sono abilitati o se i dati più aggiornati non sono disponibili tramite l'input dell'utente o il contesto aziendale. Gli utenti devono sempre esercitare un giudizio umano e verificare gli output critici anziché basarsi esclusivamente sulla risposta generata dall'IA.
• Ambito specifico del dominio: Security Copilot è progettato per rispondere alle richieste relative al dominio di sicurezza, ad esempio analisi degli eventi imprevisti e intelligence sulle minacce. Prompt al di fuori dell'ambito della sicurezza possono comportare risposte prive di accuratezza e completezza.
• Generazione di script e codice: Security Copilot possono generare codice o includere codice nelle risposte. Le risposte possono sembrare valide, ma potrebbero non essere semanticamente o sintatticamente corrette o non riflettere accuratamente la finalità del richiedente. Il codice generato non deve essere distribuito in ambienti di produzione senza procedure di convalida, test e revisione appropriate. Gli utenti devono anche verificare che tutti i parametri usati dal codice generato siano allineati alla richiesta originale. Ad esempio, se un agente opera su avvisi entro un intervallo di tempo specifico, verificare che l'intervallo di tempo nel codice generato corrisponda all'intervallo di tempo specificato nel prompt del linguaggio naturale.
• Vincoli di lunghezza della richiesta: il sistema potrebbe non essere in grado di elaborare richieste lunghe, ad esempio quelle contenenti centinaia di migliaia di caratteri. L'LLM sottostante ha un limite di token e le query o le sessioni estese eccessivamente dettagliate possono sovraccaricare lo spazio del token. Quando si verifica questo scenario, Security Copilot tenta di applicare mitigazioni per garantire che un output sia sempre disponibile, anche se il contenuto non è ottimale. Tuttavia, tali mitigazioni non sono sempre efficaci e potrebbe essere necessario provare un prompt o un plug-in diverso.
• Limiti di utilizzo e latenza: l'uso della piattaforma può essere soggetto a limiti di utilizzo o limitazione della capacità. La generazione di risposte, inclusa l'esecuzione di chiamate API tramite plug-in e il controllo delle risposte prima di visualizzarle, può richiedere tempo e richiedere una capacità GPU elevata. Le organizzazioni devono monitorare il consumo di SCU e modificare la capacità di cui è stato effettuato il provisioning in base alle esigenze per evitare interruzioni impreviste del servizio.
• Bias, stereotipazione e contenuto non in background: nonostante l'implementazione di controlli responsabili dell'IA sia nelle richieste degli utenti che negli output LLM, i servizi di intelligenza artificiale sono fallibili e probabilistici. Ciò rende difficile bloccare in modo completo tutti i contenuti inappropriati, il che può portare a potenziali distorsioni, stereotipi o contenuti non bloccati nell'output generato dall'IA.
• Cloud pubblico/privato sovrano per enti pubblici e Microsoft: Security Copilot non è attualmente supportato in questi ambienti.
• Limiti dell'agente specifici dell'attività: gli agenti sono adatti solo per l'attività specifica che sono progettati per eseguire. Per altre informazioni, vedere la sezione relativa ai casi d'uso previsti . Non sono adatti per altre attività e non devono essere riutilizzati oltre l'ambito definito.
• Dettagli mappa del nodo: la mappa del nodo dell'agente offre una visualizzazione generale dei passaggi eseguiti durante un flusso di lavoro dell'agente. Ogni nodo rappresenta un passaggio del processo e visualizza il titolo della competenza usata, insieme ai metadati di base, ad esempio stato di completamento, durata e timestamp. La mappa dei nodi è progettata per mostrare la sequenza di azioni, ma non fornisce informazioni dettagliate sulle operazioni specifiche o sulle decisioni prese all'interno di ogni passaggio. Poiché la mappa dei nodi presenta solo informazioni riepilogate, potrebbe non acquisire completamente il contesto o la complessità di ogni azione.
• Feedback dell'agente e trasparenza della memoria: quando gli utenti inviano commenti e suggerimenti a un agente per l'archiviazione in memoria, l'agente non fornisce un riepilogo della relativa interpretazione del feedback. Per aumentare l'accuratezza degli output futuri, gli utenti devono fornire un feedback chiaro, conciso e specifico. Il feedback inviato a un agente può essere archiviato e usato per influenzare gli output futuri. Tuttavia, la visibilità di questo feedback archiviato può variare a seconda dell'esperienza dell'agente e del ruolo utente. Per altre informazioni, vedere Fornire commenti e suggerimenti.

Giudizi

Le valutazioni delle prestazioni e della sicurezza valutano se le applicazioni di intelligenza artificiale funzionano in modo affidabile e sicuro esaminando fattori come la solidità, la rilevanza e la coerenza, identificando al tempo stesso i rischi di generazione di contenuti dannosi. Le valutazioni seguenti sono state condotte con componenti di sicurezza già in atto, descritti anche in Componenti di sicurezza e Mitigazioni.

Dati di valutazione per qualità e sicurezza

I dati di valutazione sono personalizzati per valutare le prestazioni delle applicazioni di intelligenza artificiale in aree chiave di sicurezza e qualità, simulando scenari e rischi reali. Iniziamo identificando gli aspetti rilevanti della valutazione delle preoccupazioni in base alla ricerca multidisciplinare e al contributo di esperti. Queste preoccupazioni vengono tradotte in obiettivi di valutazione mirati e guidano la formulazione delle metriche di valutazione.

Per motivi di sicurezza, vengono create richieste antagonistiche per generare risposte indesiderate o edge case, che vengono quindi valutate usando annotazioni assistite dall'IA addestrate per valutare l'allineamento con gli standard di sicurezza di Microsoft. Per la qualità, vengono create richieste basate su rubriche rilevanti per scenari quali la valutazione di applicazioni e agenti di generazione aumentata del recupero (RAG).

I set di dati vengono curati da origini diverse, inclusi i set di dati sintetici e pubblici, per simulare scenari utente reali. Usando i set di dati curati, entrambe le valutazioni vengono sottoposte a perfezionamento iterativo e all'allineamento umano per migliorare l'efficacia e l'affidabilità delle metriche. Questa metodologia costituisce la base di valutazioni ripetibili e rigorose che riflettono il modo in cui i clienti usano le valutazioni per creare un'IA migliore e più sicura.

Valutazioni personalizzate

Sono state condotte valutazioni personalizzate per convalidare le prestazioni del modello in scenari di messa a terra, affidabilità antagonista e contenuto dannoso usando test di regressione, set di dati di richiesta curati ed esempi allineati alla produzione. La valutazione ha confrontato gli output tra i modelli GPT, usando strumenti interni per valutare la messa a terra e Azure filtro dei contenuti OpenAI per convalidare le protezioni da jailbreak, inserimento prompt e violazioni della proprietà intellettuale. I risultati mostrano prestazioni coerenti o migliorate, tra cui elevati tassi di protezione in scenari antagonisti e una maggiore precisione di messa a terra.

La gestione dei contenuti dannosi rimane coerente tra i modelli e funziona in modalità di annotazione per supportare casi d'uso incentrati sulla sicurezza, con test aggiuntivi su larga scala che confermano tassi di protezione elevati tra categorie. I test di regressione vengono condotti per verificare che il contenuto, che non è dannoso, non sia classificato come dannoso.

Security Copilot agenti sono stati valutati dal proprio prodotto e team di ricerca con casi d'uso e input di progettazione da parte dei clienti. La sicurezza del sistema dell'agente è stata valutata anche tramite un esercizio di red teaming dedicato. Microsoft ha inoltre completato i test di penetrazione nel servizio Security Copilot per convalidare la protezione da accessi non autorizzati.

Ora che Security Copilot viene rilasciato, il feedback degli utenti è fondamentale per aiutare Microsoft a migliorare il sistema. Gli utenti hanno la possibilità di fornire feedback sulla risposta dell'agente da Security Copilot. Questo feedback viene inviato direttamente a Microsoft e viene usato per migliorare le prestazioni della piattaforma tramite un perfezionamento iterativo continuo. Per altre informazioni, vedere Fornire commenti e suggerimenti.

Componenti di sicurezza e mitigazioni

Quando sono stati identificati i potenziali rischi e l'uso improprio tramite processi come i test del team rosso e sono stati misurati, sono state sviluppate mitigazioni per ridurre il potenziale di danni. Continueremo a valutare l'esperienza Microsoft Security Copilot per migliorare le prestazioni e le mitigazioni del prodotto. L'elenco seguente descrive alcune di queste mitigazioni:

• Filtri e guardrail dei contenuti dannosi: Security Copilot integra i guardrail sviluppati da Microsoft (filtri dei contenuti) e i modelli di rilevamento degli abusi come parte della Servizio Azure OpenAI Foundation. Questi modelli di classificazione neurale rilevano e filtrano i contenuti dannosi tra categorie, tra cui odio, sesso, violenza e autolesionismo a più livelli di gravità. I modelli di classificazione facoltativi rilevano anche i rischi di jailbreak, il testo noto o il materiale del codice e gli attacchi di inserimento dei prompt indiretti. Questi controlli a più livelli consentono di impedire all'IA di produrre risposte che violano gli standard di sicurezza di Microsoft.
• Progettato per ridurre al minimo le azioni irreversibili: gli scenari degli agenti progettati da Microsoft sono progettati per ridurre al minimo le azioni irreversibili e mantenere gli utenti sotto controllo delle decisioni critiche. Per gli agenti personalizzati, gli agenti non progettati da Microsoft gli sviluppatori dell'agente possono modificare il comportamento dell'agente per garantire che le azioni irreversibili siano ridotte al minimo.
• Progettazione del sistema di sicurezza: Microsoft ha sviluppato un sistema di sicurezza per Security Copilot progettato per attenuare gli errori e prevenire l'uso improprio, tra cui annotazioni di contenuto dannoso, monitoraggio operativo e altre misure di sicurezza. I requisiti di mitigazione dell'intelligenza artificiale responsabile del servizio OpenAI Azure non si applicano direttamente ai clienti Security Copilot perché Security Copilot implementa queste mitigazioni per conto del cliente.
• Ciclo di feedback degli utenti: dopo che un agente ha restituito una risposta, gli utenti possono fornire commenti e suggerimenti. A seconda della configurazione, gli utenti possono anche inviare commenti e suggerimenti scritti aggiuntivi per fornire contesto sulla propria esperienza. Il feedback inviato viene raccolto e usato da Microsoft per migliorare la qualità del prodotto, identificare i problemi e assegnare priorità ai miglioramenti per Security Copilot esperienze.
• Governance delle identità dell'agente e controllo degli accessi in base al ruolo: ogni agente Security Copilot viene eseguito con un'identità gestita o un account utente, consentendo all'amministratore di gestire i dati a cui ha accesso. Ogni agente dispone di controlli controllo degli accessi in base al ruolo e gli agenti possono essere ulteriormente limitati in merito ai dati elaborati. Limitando le autorizzazioni di ogni agente, il sistema riduce i rischi di esposizione non autorizzata ai dati e garantisce che tutte le azioni automatizzate siano controllabili e tracciabili.
• Crittografia dei dati e protezione dell'accesso: i dati dei clienti gestiti da Security Copilot vengono crittografati sia in transito che inattivi, come descritto nell'addendum Microsoft Products and Services Data Protection. Per impostazione predefinita, nessun utente umano ha accesso al database e l'accesso alla rete è limitato alla rete privata in cui viene distribuita l'applicazione Security Copilot; se è necessario l'accesso umano (per la risposta agli eventi imprevisti), l'accesso con privilegi elevati e l'accesso alla rete devono essere approvati dai dipendenti Microsoft autorizzati. Vedere Conformità.
• Approccio alla distribuzione in più fasi: Security Copilot rilascia le funzionalità tramite un programma di accesso anticipato solo invito, consentendo a Microsoft di raccogliere commenti e suggerimenti e perfezionare le funzionalità prima di una disponibilità più ampia.

L'approccio alla mappatura, alla misurazione e alla gestione dei rischi continua a evolversi man mano che si impara di più e si apportano miglioramenti in base al feedback ricevuto dai clienti.

Procedure consigliate per la distribuzione e l'adozione di Microsoft Security Copilot

L'IA responsabile è un impegno condiviso tra Microsoft e i suoi clienti. Mentre Microsoft crea sistemi di intelligenza artificiale con sicurezza, equità e trasparenza al centro, i clienti svolgono un ruolo fondamentale nella distribuzione e nell'uso responsabile di queste tecnologie all'interno dei propri contesti.

Security Copilot agenti sono progettati per migliorare le competenze umane, non sostituire. I clienti rimangono responsabili della revisione degli output, della convalida delle decisioni e della conformità alle leggi, alle normative e ai criteri organizzativi applicabili.

I deployer e gli utenti finali devono:

• Prestare attenzione e valutare i risultati quando si usano Security Copilot per decisioni consequenziali o in domini sensibili: le decisioni consequenziali sono quelle che possono avere un impatto legale o significativo sull'accesso di una persona all'occupazione, ai servizi legali, all'assistenza sanitaria o che potrebbero causare danni fisici, psicologici o finanziari. I domini sensibili come i servizi finanziari, l'assistenza sanitaria e legale richiedono un'assistenza particolare a causa del potenziale impatto sproporzionato su diversi gruppi di persone. Quando si usa l'intelligenza artificiale per le decisioni in queste aree, i clienti devono assicurarsi che gli stakeholder interessati possano comprendere come vengono prese le decisioni, prendere decisioni di appello e aggiornare i dati di input pertinenti.

• Valutare considerazioni legali e normative: i clienti devono valutare potenziali obblighi legali e normativi specifici quando usano servizi e soluzioni di intelligenza artificiale, che potrebbero non essere appropriati per l'uso in ogni settore o scenario. Inoltre, i servizi o le soluzioni di intelligenza artificiale non sono progettati per e non possono essere usati in modi vietati nei termini di servizio applicabili e nei codici di condotta pertinenti.

• Abilitare e gestire i plug-in pertinenti: la qualità e l'accuratezza delle risposte Security Copilot dipendono in modo significativo dai plug-in abilitati. Gli amministratori devono assicurarsi che i plug-in di Microsoft e di terze parti appropriati siano configurati e gestiti in modo che gli utenti ricevano risposte basate sul contesto e pertinenti.

Gli utenti finali devono:

• Scrivere richieste valide: la scrittura di richieste chiare e specifiche è fondamentale per ottenere risultati migliori con Security Copilot. Includere il contesto pertinente, ad esempio ID evento imprevisto, nomi di asset o intervalli di tempo. Eseguire l'iterazione e rigenerare le richieste in base alle esigenze e rivedere e verificare sempre le risposte generate dall'IA. Per altre informazioni, vedere Suggerimenti per la richiesta di Security Copilot.

• Esercitare la supervisione umana quando necessario: la supervisione umana è una protezione importante quando si interagisce con i sistemi di IA. Anche se miglioriamo continuamente Security Copilot, i sistemi di intelligenza artificiale possono commettere errori. L'output generato può essere impreciso, incompleto, distorto o non completamente allineato agli obiettivi previsti a causa di ambiguità negli input o limitazioni dei modelli sottostanti. Gli utenti devono esaminare le risposte generate da Security Copilot e verificare che soddisfino le aspettative e i requisiti prima di intervenire.

• Tenere presente il rischio di overreliance: l'overreliance sull'IA si verifica quando gli utenti accettano output di IA errati o incompleti, principalmente perché gli errori negli output di intelligenza artificiale possono essere difficili da rilevare. Per i professionisti della sicurezza, l'eccessiva attendibilità potrebbe causare minacce perse, conclusioni impreviste errate o modifiche ai criteri in base a raccomandazioni difettose. Security Copilot include la divulgazione di intelligenza artificiale e cita i materiali di origine per ridurre questo rischio, ma gli utenti devono comunque assicurarsi di verificare l'accuratezza delle risposte. Gli utenti possono esaminare la mappa del nodo dell'agente che fornisce una visualizzazione generale dei passaggi eseguiti durante il flusso di lavoro di un agente.

• Prestare attenzione durante la distribuzione o la progettazione dell'intelligenza artificiale agentic in domini sensibili: gli utenti devono implementare una supervisione umana appropriata durante la configurazione e la distribuzione di sistemi di intelligenza artificiale agentic in domini in cui le azioni degli agenti sono irreversibili o altamente consequenziali. Quando si crea un'intelligenza artificiale agentic autonoma, è necessario adottare precauzioni aggiuntive, come descritto nel Codice di condotta di Microsoft Enterprise AI Services.

I deployer devono:

• Configurare attentamente le autorizzazioni degli agenti e del controllo degli accessi in base al ruolo: gli amministratori sono responsabili della configurazione dei controlli di accesso in base al ruolo sia per gli utenti che per gli agenti. Le autorizzazioni devono seguire il principio dei privilegi minimi. Agli agenti deve essere concesso l'accesso solo ai dati e alle azioni necessarie per l'attività designata.

• Monitorare l'utilizzo e rivedere l'attività: gli amministratori (proprietari) possono usare il dashboard di monitoraggio dell'utilizzo Security Copilot per esaminare i dati a livello di sessione, ad esempio l'utilizzo nel tempo, gli iniziatori di sessione e i plug-in usati durante le sessioni. Questa visibilità consente alle organizzazioni di comprendere come Security Copilot viene usato tra prompt, promptbook e agenti. Per altre informazioni, vedere Gestire l'utilizzo.

• Gestire le impostazioni di condivisione dei dati: i proprietari possono configurare le preferenze di condivisione dei dati dei clienti in qualsiasi momento e devono esaminare e aggiornare queste impostazioni in base ai requisiti di privacy e conformità dell'organizzazione. Per altre informazioni, vedere Privacy e sicurezza dei dati in Microsoft Security Copilot.

• Informare gli utenti sulle funzionalità e le limitazioni: l'uso efficace e responsabile di Security Copilot richiede agli utenti di comprendere cosa può e non può fare il sistema. I deployer devono fornire formazione e indicazioni per aiutare gli utenti a interagire con Security Copilot in modo efficace, inclusa l'importanza di verificare gli output generati dall'IA prima di intervenire.

Altre informazioni sugli agenti Security Copilot

Per altre informazioni sull'uso responsabile di Microsoft Security Copilot, vedere la documentazione seguente:

• Che cos'è Microsoft Security Copilot?
• Creare agenti personalizzati
• Privacy e sicurezza dei dati in Microsoft Security Copilot

Altre informazioni sull'intelligenza artificiale responsabile

• principi Microsoft AI
• Risorse microsoft responsabili per l'intelligenza artificiale
• Corsi di Microsoft Azure Learning sull'intelligenza artificiale responsabile
• Alfabetizzazione per intelligenza artificiale