Karte: Microsoft Security Copilot

Was ist eine Anwendungs- oder Plattform-Karte?

Die Anwendungs- und Plattformkarten von Microsoft sollen Ihnen helfen, zu verstehen, wie unsere KI-Technologie funktioniert, welche Entscheidungen Anwendungsbesitzer treffen können, die die Leistung und das Verhalten der Anwendung beeinflussen können, und wie wichtig es ist, die gesamte Anwendung zu berücksichtigen, einschließlich der Technologie, der Menschen und der Umgebung. Anwendungskarten werden für KI-Anwendungen und Plattformkarten für KI-Plattformdienste erstellt. Diese Ressourcen können die Entwicklung oder Bereitstellung Ihrer eigenen Anwendungen unterstützen und für Benutzer oder Projektbeteiligte freigegeben werden, die von ihnen betroffen sind.

Im Rahmen seiner Verpflichtung zu verantwortungsvoller KI hält sich Microsoft an sechs Grundprinzipien: Fairness, Zuverlässigkeit und Sicherheit, Datenschutz und Sicherheit, Inklusion, Transparenz und Verantwortlichkeit. Diese Prinzipien sind in die verantwortungsvolle KI-Standard eingebettet, die Teams beim Entwerfen, Erstellen und Testen von KI-Anwendungen unterstützt. Anwendungs- und Plattformkarten spielen eine schlüsselrolle bei der Operationalisierung dieser Prinzipien, indem sie Transparenz in Bezug auf Funktionen, beabsichtigte Verwendungen und Einschränkungen bieten. Um weitere Erkenntnisse zu erhalten, sollten die Leser den Bericht zur Transparenz verantwortungsvoller KI von Microsoft und den Microsoft Enterprise AI Services Code of Conduct erkunden, in dem beschrieben wird, wie sie verantwortungsbewusst mit KI umgehen können.

Übersicht

Microsoft Security Copilot ist eine generative KI-gestützte Sicherheitslösung, die dazu beiträgt, die Effizienz und Die Fähigkeiten von Verteidigern zu erhöhen, um Sicherheitsergebnisse bei Maschinengeschwindigkeit und Skalierung zu verbessern. Es bietet eine natürliche, assistive Copilot-Erfahrung, die Sicherheitsexperten und IT-Administratoren dabei unterstützt, eine Vielzahl von End-to-End-Szenarien zu bewältigen, einschließlich Reaktion auf Vorfälle, Bedrohungssuche, Intelligence-Erfassung und Statusverwaltung.

Security Copilot wurde unter Berücksichtigung der Integration entwickelt. Es bietet eine immersive eigenständige Erfahrung bei https://securitycopilot.microsoft.com und lässt sich in Microsoft-Sicherheitsprodukte wie Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra und Microsoft Purview sowie unterstützte Drittanbieterdienste integrieren.

Zu den vorgesehenen Benutzern gehören SOC-Analysten, IT-Administratoren, Datensicherheits- und Identitätsadministratoren, Complianceanalysten und Sicherheitsleiter wie Chief Information Security Officers (CISOs).

Security Copilot hat die ISO 42001-Zertifizierung erhalten, die bestätigt, dass ein unabhängiger Dritter die Anwendung des erforderlichen Frameworks und der Funktionen von Microsoft überprüft hat, um Risiken und Chancen im Zusammenhang mit der kontinuierlichen Entwicklung, Bereitstellung und dem Betrieb von Microsoft AI Systemen effektiv zu verwalten.

Weitere Informationen finden Sie unter Was ist Microsoft Security Copilot?, Microsoft Security Copilot Erfahrungen und Anwendungs-Karte für Security Copilot-Agents.

Schlüsselbegriffe

Die folgende Tabelle enthält ein Glossar mit Schlüsselbegriffen im Zusammenhang mit Microsoft Security Copilot.

Begriff Definition
Agent Ein Security Copilot-Agent verarbeitet Signale aus der Kundenumgebung über integrierte Datenquellen und Plug-Ins, analysiert Daten und generiert Empfehlungen. Agents können auch bereichsbezogene Aktionen innerhalb konfigurierter Berechtigungen ausführen, wenn sie dazu aufgefordert werden, die eine entsprechende Genehmigung durch Einen Benutzer oder Administrator erfordern. Agents können von einfachen Prompt-and-Response-Umgebungen bis hin zu automatisierteren, halbautonomen Workflows mit menschlicher Aufsicht reichen. Beispielsweise der Phishing-Selektierungs-Agent und der Agent zur Behebung von Sicherheitsrisiken.
Agent-Identität Die Anmeldeinformationen, die ein Agent verwendet, um sich bei Microsoft-Diensten zu authentifizieren und auf die Daten zuzugreifen, die er zum Ausführen seiner Aufgaben benötigt. Während des Setups entscheidet sich ein Administrator, entweder eine dedizierte Identität zu erstellen (mit Microsoft Entra-Agent-ID) oder den Agent die Anmeldeinformationen des konfigurierenden Benutzers erben zu lassen. Die Auswahl der Identität bestimmt, auf welche Daten der Agent zugreifen kann.
Datenquelle Strukturierte oder unstrukturierte Daten, auf die über Plug-Ins oder Integrationen für Bodenantworten zugegriffen wird.
Eingebettete Erfahrung Zugreifen auf Security Copilot Funktionen aus einem anderen Microsoft-Sicherheitsprodukt, z. B. Microsoft Defender XDR oder Microsoft Sentinel. Die Security Copilot Sidecar-Panel stellt KI-Unterstützung direkt im Kontext dieses Produkts dar.
Erdung Der Prozess der Bereitstellung kontextbezogener Eingabequellen für das große Sprachmodell im Zusammenhang mit der Eingabeaufforderung eines Benutzers. Indem Security Copilot über Plug-Ins und Microsoft-Sicherheitsprodukte auf Organisationsdaten zugreifen können, können Security Copilot genauere und kontextbezogenere Antworten liefern.
Großes Sprachmodell (LLM) KI-Modelle wurden mit großen Mengen von Textdaten trainiert, um Wörter in Sequenzen vorherzusagen. LLMs sind in der Lage, verschiedene Aufgaben wie Textgenerierung, Zusammenfassung, Übersetzung, Klassifizierung und vieles mehr auszuführen.
Plugin Eine Sammlung verwandter Tools, die die Funktionen von Security Copilot erweitern, indem sie ihr über APIs Zugriff auf Ressourcen von Microsoft und nicht von Microsoft stammenden Diensten und öffentlichen Websites gewähren. Plug-Ins fügen den Antworten und Ausgaben, die Security Copilot generiert, mehr Kontext hinzu.
Nachbearbeitung Der Satz von Aktionen, die Security Copilot ausführt, um die LLM-Antwort zu verfeinern und vorzubereiten, bevor sie an den Benutzer zurückgegeben wird. Diese Nachbearbeitung umfasst zusätzliche Erdungsaufrufe durch Plug-Ins, verantwortungsvolle KI-Überprüfungen, Sicherheits-, Compliance- und Datenschutzprüfungen.
Eingabeaufforderung Der Text in natürlicher Sprache, den ein Benutzer an Security Copilot sendet, um eine bestimmte Aufgabe auszuführen oder Informationen abzurufen. Beispiel: Zusammenfassen dieses Incidents und Vorschlagen von Korrekturschritten.
Promptbook Eine Reihe von Eingabeaufforderungen, die nacheinander ausgeführt werden und auf vorherigen Antworten aufbauen, um bestimmte sicherheitsbezogene Aufgaben auszuführen. Promptbooks können aus der Bibliothek verwendet oder von Benutzern erstellt und freigegeben werden.
Rote Teamtests Techniken, die von Experten verwendet werden, um die Einschränkungen und Sicherheitsrisiken eines Systems zu bewerten und die Wirksamkeit geplanter Risikominderungen zu testen. Rote Teamtests werden verwendet, um potenzielle Risiken zu identifizieren und unterscheiden sich von der systematischen Messung von Risiken.
Verantwortungsvolle KI Die Richtlinien-, Forschungs- und Ingenieurpraktiken von Microsoft, die auf den KI-Prinzipien basieren und durch den Standard für verantwortungsvolle KI operationalisiert werden. Weitere Informationen finden Sie in der Fluent RAI-Anleitung.
Security Compute Unit (SCU) SCUs sind die Einheiten der Computekapazität, die verwendet werden, um Security Copilot Workloads auszuführen und eine konsistente Leistung für die gesamte Umgebung bereitzustellen. Security Copilot Kapazität wird in SCUs gemessen und kann durch bereitgestellte oder Überschreitungskapazitätsmodelle genutzt werden. Weitere Informationen finden Sie unter Grundlegendes zu SCUs.
Security Copilot Antwort Die KI-generierte Ausgabe, die an eine Benutzeraufforderung zurückgegeben wird, einschließlich Zusammenfassungen, Empfehlungen oder Aktionen, die Code und Visuals enthalten können.
Security Operations Center (SOC) Ein dediziertes Sicherheitsteam oder eine Einrichtung, das sich auf die kontinuierliche Überwachung, Analyse und Reaktion auf Cybersicherheitsvorfälle innerhalb eines organization konzentriert. SOC-Analysten gehören zu den hauptangedachten Benutzern von Security Copilot.
Sicherheitsspeicher Eine Marketplace-ähnliche Erfahrung, bei der Benutzer vom Partner erstellte Agents und Erweiterungen für Security Copilot entdecken und aktivieren können.
Session Ein begrenzter Interaktionskontext, der Eingabeaufforderungen, Antworten und zugehörige Daten enthält, die zum Generieren von Ausgaben verwendet werden. Der Sitzungskontext ist isoliert und wird nicht sitzungsübergreifend freigegeben. Der Zugriff auf Sitzungsdaten wird durch Benutzerberechtigungen und Arbeitsbereichsrollen gesteuert, und Eingabeaufforderungen und Antworten werden als Kundendaten behandelt, die nicht zum Trainieren von Basismodellen verwendet werden.
Eigenständige Benutzeroberfläche Die immersive Security Copilot Portaloberfläche, auf die direkt unter zugegriffen wirdhttps://securitycopilot.microsoft.com.
Mandant Die Organisationsgrenze in Microsoft Entra ID, die Identität, Zugriff und Daten für Security Copilot isoliert. Alle Arbeitsbereiche, Benutzer und Interaktionen arbeiten innerhalb dieser Grenze und unterliegen Berechtigungen und Sicherheitskontrollen auf Mandantenebene.

Wichtige Features oder Funktionen

Die wichtigsten Features und Funktionen in der folgenden Tabelle beschreiben, worauf Microsoft Security Copilot ausgelegt ist und wie es über unterstützte Aufgaben hinweg funktioniert.

Feature oder Funktion Beschreibung
Untersuchung und Reaktion auf Vorfälle Security Copilot unterstützt Sicherheitsexperten bei der Selektierung und Untersuchung von Vorfällen, indem sie Zusammenfassungen komplexer Sicherheitswarnungen erstellen, Signale in Microsoft Defender XDR, Microsoft Sentinel und anderen integrierten Produkten korrelieren und schrittweise Anleitungen zur Behebung bereitstellen.
Threat Intelligence Security Copilot können Microsoft Defender Threat Intelligence-Artikel und -Profile, Berichte zur Bedrohungsanalyse und Veröffentlichungen zur Offenlegung von Sicherheitsrisiken durchsuchen, um relevante Informationen anzuzeigen, die an einer Eingabeaufforderung ausgerichtet sind.
Skriptanalyse und KQL-Abfragegenerierung Security Copilot können verdächtige Skripts oder Schadsoftware analysieren und natürliche Sprache in KQL-Abfragen übersetzen, sodass Teammitglieder auf allen Qualifikationsebenen erweiterte Such- und technische Analyseaufgaben ausführen können.
Verwaltung des Sicherheitsstatus Security Copilot hilft Benutzern, priorisierte Risiken in ihrer Gesamten Umgebung zu verstehen und Möglichkeiten zur Verbesserung des Status durch die Integration in Microsoft Defender XDR, Microsoft Entra und Microsoft Intune zu identifizieren.
Erstellen und Verwalten von Sicherheitsrichtlinien Benutzer können neue Richtlinien definieren, sie mit vorhandenen Richtlinien für Konflikte kreuzverweisen und Richtlinien in einfacher Sprache zusammenfassen, um komplexe Organisationskontexte zu verwalten.
Promptbooks Promptbooks sind Sequenzen von Eingabeaufforderungen, die ausgeführt werden, um bestimmte Sicherheitsaufgaben auszuführen. Benutzer können Promptbooks aus einer freigegebenen Bibliothek ausführen oder eigene erstellen und freigeben.
Agents Security Copilot unterstützt Agents, die Sicherheits- und IT-Betriebsaufgaben innerhalb der von Administratoren erteilten Berechtigungen automatisieren und unterstützen können. Agentaktionen werden von konfigurierten Identitäten, Zugriffssteuerungen und Triggern gesteuert und sind so konzipiert, dass sie als Teil von Sicherheitsworkflows von Menschen überwacht werden. Von Microsoft erstellte Agents umfassen das Sicherheitsproduktportfolio und umfassen SOC-Vorgänge, Bedrohungssuche, Threat Intelligence, Identitätsverwaltung, Endpunktverwaltung und Datensicherheit. Administratoren konfigurieren die Identität, Berechtigungen und Trigger jedes Agents. Ausführliche Informationen zu bestimmten Agents und ihren Anwendungsfällen finden Sie unter Beabsichtigte Verwendung.
File upload Benutzer können Dateien direkt in Security Copilot Sitzungen hochladen, sodass Copilot hochgeladene Inhalte beim Generieren von Antworten analysieren, zusammenfassen oder querverweisen kann.
Unterstützung mehrerer Sprachen Security Copilot unterstützt Eingabeaufforderungen und Antworten in mehreren Sprachen. Weitere Informationen finden Sie unter Unterstützte Sprachen.

Beabsichtigte Verwendung

Microsoft Security Copilot ist für die Verwendung durch Sicherheitsexperten und IT-Administratoren konzipiert, die KI-gestützte Unterstützung für eine vielzahl von Sicherheits- und IT-Betriebsaufgaben benötigen. Die Assistive Copilot-Benutzeroberfläche hilft Benutzern, effizienter zu arbeiten, indem sie relevante Kontexte angibt, umsetzbare Anleitungen generiert und die für die manuelle Analyse aufgewendete Zeit reduziert. Beispiele für beabsichtigte Anwendungsfälle sind:

  • Untersuchung und Reaktion auf Vorfälle: Generiert Zusammenfassungen komplexer Warnungen, korreliert Signale über integrierte Sicherheitsprodukte wie Microsoft Defender XDR und Microsoft Sentinel hinweg und bietet schrittweise Anleitungen zur Behebung. Analysten können Folgefragen stellen, um ihre Untersuchung schrittweise zu verfeinern.

  • Sammeln von Threat Intelligence: Zeigt relevante Informationen zu Bedrohungsakteuren, Schadsoftware und Sicherheitsrisiken basierend auf Eingabeaufforderungen in natürlicher Sprache an und konsolidiert Informationen in maßgeschneiderten Zusammenfassungen.

  • Skriptanalyse und Reverse Engineering: Erläutert verdächtige Skripts oder Befehlszeilenaktivitäten in einfacher Sprache, identifiziert böswillige Verhaltensweisen und hebt Anzeichen für eine Gefährdung hervor.

  • KQL-Abfragegenerierung: Übersetzt Eingabeaufforderungen in natürlicher Sprache in sofort ausgeführte KQL-Abfragen für die erweiterte Suche und Protokollanalyse.

  • Verwaltung des Sicherheitsstatus: Identifiziert priorisierte Risiken und empfiehlt Maßnahmen zur Verbesserung des Sicherheitsstatus der Organisation.

  • Erstellen und Verwalten von Sicherheitsrichtlinien: Unterstützt sie beim Entwerfen, Überprüfen und Zusammenfassen von Richtlinien sowie beim Identifizieren von Lücken oder Konflikten.

  • Berichterstellung von Stakeholdern: Generiert Berichte, die auf verschiedene Zielgruppen zugeschnitten sind, einschließlich technischer Zusammenfassungen und Briefings von Führungskräften.

  • Eingabeaufforderungen für wiederholbare Sicherheitsworkflows: Ermöglicht Benutzern das Ausführen oder Erstellen von mehrstufigen Workflows, um wiederkehrende Sicherheitsaufgaben zu standardisieren.

Modelle und Trainingsdaten

Microsoft Security Copilot verwendet Azure OpenAI-LLMs (Large Language Models) von Foundry Models, die von Azure verkauft werden, um Erfahrungen in natürlicher Sprache zu unterstützen. Diese Modelle werden nicht mit Security Copilot Kundendaten trainiert. Die Modellfunktionen variieren in Bezug auf Argumentation, Geschwindigkeit, Einschränkungen und unterstützte Szenarien.

Security Copilot enthält auch sicherheitsspezifisches Wissen und Kontext durch Plug-Ins und Grounding, die dem LLM relevante Organisationsdaten, Threat Intelligence und autoritative Inhalte zur Rückschlusszeit statt durch Modelltraining zur Verfügung stellen.

Leistung

Security Copilot ist für den Betrieb in Unternehmenssicherheitsumgebungen konzipiert, in denen große Mengen von Echtzeitsicherheitssignalen für Microsoft-Sicherheitsprodukte und andere Datenquellen generiert werden, die vom organization konfiguriert werden.

Im Gegensatz zu allgemeinen LLMs bietet Security Copilot Folgendes:

  • Echtzeitsignalverarbeitung über strukturierte Sicherheitsdaten hinweg
  • Untersuchungsargumente, die mehrere Datenquellen korrelieren
  • Nachweisgestützte Ausgaben, die in Kundendaten begründet sind
  • Kontinuierliche Datensammlung für fortlaufende Sichtbarkeit

Benutzer interagieren mit Security Copilot mithilfe von Eingabeaufforderungen in natürlicher Sprache. Das System verarbeitet diese Eingaben über aktive Plug-Ins, Datenquellen und LLMs, um Antworten zu generieren.

Die Ausgaben sind in erster Linie textuell, einschließlich zusammenfassender Erklärungen, empfohlener Aktionen, Schritt-für-Schritt-Anleitungen, Codeausschnitte (z. B. KQL-Abfragen) und formatierten Berichten, die auf die Beteiligten zugeschnitten sind. Wenn das System eine Antwort generiert, zeigt es Zwischenschritte in einem Prozessprotokoll an und bietet So die Möglichkeit, seine Prozesse und Quellen zu überprüfen. Benutzer können eine Eingabeaufforderung jederzeit abbrechen, bearbeiten, erneut ausführen oder löschen, und Antworten können angeheftet, freigegeben und exportiert werden, um die Zusammenarbeit zu erleichtern.

Begrenzungen

Das Verständnis der Einschränkungen von Microsoft Security Copilot ist wichtig, um sicherzustellen, dass es effektiv und verantwortungsvoll verwendet wird. Obwohl Security Copilot Sicherheitsworkflows verbessert, ist es nicht für jedes Szenario konzipiert. Beachten Sie bei der Auswahl eines Anwendungsfalls den Verhaltenskodex für Microsoft Enterprise AI Services sowie die folgenden Überlegungen:

  • Genauigkeit und Vollständigkeit: Security Copilot können ungenaue, unvollständige oder veraltete Antworten erzeugen. Die Ausgabequalität hängt von verfügbaren Datenquellen, aktivierten Integrationen und vom Benutzer bereitgestelltem Kontext ab. Benutzer sollten menschliches Urteilsvermögen anwenden und kritische Ausgaben überprüfen.
  • Voreingenommenheit, Stereotypisierung und nicht geerdeter Inhalt: Trotz Der Sicherheitsvorkehrungen können Ausgaben aufgrund der probabilistischen Natur großer Sprachmodelle Verzerrungen, Stereotype oder nicht unterstützte Schlussfolgerungen enthalten. Benutzer sollten Antworten kritisch auswerten, insbesondere in sensiblen szenarien oder szenarien mit hohen Auswirkungen.
  • Domänenspezifischer Bereich: Security Copilot ist für sicherheitsrelevante Aufgaben wie die Untersuchung von Vorfällen und die Bedrohungsanalyse optimiert. Prompts außerhalb dieses Bereichs können zu weniger genauen oder weniger relevanten Antworten führen.
  • Nutzungslimits und Latenz: Die Verwendung von Security Copilot kann Kapazitätseinschränkungen und Leistungsüberlegungen unterliegen. Das Generieren von Antworten, einschließlich der Ausführung von Integrationen und anwenden von Sicherheitsüberprüfungen, kann zu Latenz führen. Organisationen sollten ihre Nutzung (SCUs) überwachen, um eine konsistente Leistung aufrechtzuerhalten.
  • Vorschauversion status: Einige Security Copilot Funktionen befinden sich möglicherweise in der Vorschauphase. Vorschaufeatures sollten als Vorabversionsfunktionen behandelt werden, und Ausgaben sollten überprüft werden, bevor Maßnahmen ergriffen werden.
  • Eingabeaufforderungs- und Kontexteinschränkungen: Security Copilot innerhalb von Token- und Kontextgrenzwerten arbeitet, die großen Sprachmodellen innewohnen. Lange Eingabeaufforderungen oder erweiterte Interaktionen können diese Grenzwerte überschreiten, was zu abgeschnittenen oder weniger optimalen Antworten führt. Das Neuanlegen oder Vereinfachen von Eingabeaufforderungen kann die Ergebnisse verbessern.
  • Abhängigkeit von Datenquellen und Konfiguration: Antworten basieren auf verfügbaren Daten, einschließlich verbundener Microsoft-Dienste, Integrationen von Drittanbietern und Benutzereingaben. Wenn relevante Datenquellen nicht verfügbar, aktiviert oder aktuell sind, fehlen die Ergebnisse möglicherweise an Vollständigkeit oder Genauigkeit.
  • Skript- und Codegenerierung: Security Copilot können Code generieren oder Code in Antworten einschließen. Antworten erscheinen möglicherweise gültig, sind aber möglicherweise semantisch oder syntaktisch nicht korrekt oder spiegeln die Absicht des Anfordernden nicht genau wider. Generierter Code sollte nicht ohne geeignete Validierungs-, Test- und Überprüfungsverfahren in Produktionsumgebungen bereitgestellt werden. Benutzer müssen außerdem überprüfen, ob alle parameter, die vom generierten Code verwendet werden, mit der ursprünglichen Anforderung übereinstimmen. Wenn ein Agent z. B. Warnungen innerhalb eines bestimmten Zeitraums verarbeitet, vergewissern Sie sich, dass der Zeitbereich im generierten Code mit dem in der Eingabeaufforderung in natürlicher Sprache angegebenen Zeitbereich übereinstimmt.
  • Datenzugriffs- und Berechtigungsgrenzen: Security Copilot innerhalb vorhandener Organisationsberechtigungen und Datenzugriffssteuerungen ausgeführt werden. Antworten sind auf die Daten beschränkt, auf die ein Benutzer zugreifen darf. Falsch konfigurierte Berechtigungen in zugrunde liegenden Systemen können sich auf die Relevanz oder Vollständigkeit der Ergebnisse auswirken.
  • Government Cloud-Umgebungen: Security Copilot ist derzeit nicht für die Verwendung in bestimmten Cloudumgebungen für Behörden konzipiert.

Bewertungen

Leistungs- und Sicherheitsbewertungen bewerten, ob KI-Anwendungen zuverlässig und sicher funktionieren, indem Faktoren wie Grundhaftigkeit, Relevanz und Kohärenz untersucht und gleichzeitig die Risiken der Generierung schädlicher Inhalte identifiziert werden. Die folgenden Bewertungen wurden mit bereits vorhandenen Sicherheitskomponenten durchgeführt, die auch unter Sicherheitskomponenten und Entschärfungen beschrieben sind.

Auswertungsdaten für Qualität und Sicherheit

Unsere Auswertungsdaten wurden speziell entwickelt, um die Leistung von KI-Anwendungen in wichtigen Bereichen der Sicherheit und Qualität zu bewerten und reale Szenarien und Risiken zu simulieren. Wir beginnen mit der Identifizierung relevanter Bewertungsaspekte, die auf multidisziplinären Forschungen und Experteneinschätzungen basieren. Diese Bedenken werden in gezielte Bewertungsziele und Die Formulierung von Auswertungsmetriken übersetzt.

Aus Sicherheitsgründen erstellen wir angreiferische Eingabeaufforderungen, um unerwünschte Oder Fallreaktionen auszusprechen, die dann mit KI-gestützten Annotatoren bewertet werden, die zur Bewertung der Übereinstimmung mit den Sicherheitsstandards von Microsoft trainiert wurden. Aus Qualitätsgründen erstellen wir rubrikenbasierte Aufforderungen, die für Szenarien relevant sind, einschließlich der Auswertung von Rag-Anwendungen (Retrieval-Augmented Generation) und Agents.

Datasets werden aus verschiedenen Quellen zusammengestellt, einschließlich synthetischer und öffentlicher Datasets, um reale Benutzerszenarien zu simulieren. Mithilfe der kuratierten Datasets werden beide Auswertungen iterativer Verfeinerung und menschlicher Ausrichtung unterzogen, um die Effizienz und Zuverlässigkeit von Metriken zu verbessern. Diese Methodik bildet die Grundlage für wiederholbare, strenge Bewertungen, die widerspiegeln, wie Kunden Bewertungen verwenden, um eine bessere und sicherere KI zu erstellen.

Benutzerdefinierte Auswertungen

Benutzerdefinierte Auswertungen wurden durchgeführt, um die Modellleistung in Erdungs-, Kontrahentitäts- und schädlichen Inhaltsszenarien mithilfe von Regressionstests, kuratierten Promptdatasets und produktionsorientierten Beispielen zu überprüfen. Bei der Auswertung wurden Ausgaben zwischen GPT-Modellen verglichen, wobei interne Tools verwendet wurden, um die Grundhaftigkeit zu bewerten, und Azure OpenAI-Inhaltsfilterung, um den Schutz vor Jailbreak, prompter Einschleusung und Verstößen gegen geistiges Eigentum zu überprüfen. Die Ergebnisse zeigen eine konsistente oder verbesserte Leistung, einschließlich starker Schutzraten in angreiferischen Szenarien und einer verbesserten Erdungsgenauigkeit.

Die Behandlung schädlicher Inhalte bleibt modellübergreifend konsistent und wird im Anmerkungsmodus ausgeführt, um sicherheitsorientierte Anwendungsfälle zu unterstützen, wobei zusätzliche umfangreiche Tests hohe Schutzraten über Kategorien hinweg bestätigen. Regressionstests werden durchgeführt, um zu überprüfen, ob der inhalt, der nicht schädlich ist, nicht als schädlich klassifiziert wird.

Benutzerfeedback ist wichtig, um Security Copilot zu verbessern. Benutzer können Feedback geben, indem Sie die Optionen "Verbesserungsbedarf", "Unangemessen" oder " Richtig aussehen " verwenden. Dieses Feedback geht direkt an Microsoft und wird verwendet, um die Leistung der Plattform durch fortlaufende iterative Verfeinerung zu verbessern.

Sicherheitskomponenten und Entschärfungen

Da wir potenzielle Risiken und Missbrauch durch Prozesse wie Red Team Testing identifiziert und gemessen haben, entwickelten wir Entschärfungen, um das Schadenspotenzial zu reduzieren. In der folgenden Liste werden einige dieser Entschärfungen beschrieben. Wir werden die Microsoft Security Copilot weiterhin bewerten, um die Produktleistung und Die Risikominderungen zu verbessern.

  • Filtern schädlicher Inhalte und Schutzmaßnahmen: Security Copilot integriert von Microsoft entwickelte Schutzmaßnahmen (Inhaltsfilter) und Missbrauchserkennungsmodelle als Teil der Azure OpenAI Service-Foundation. Diese neuronalen Klassifizierungsmodelle erkennen und filtern schädliche Inhalte über Kategorien hinweg, einschließlich Hass, sexueller Gewalt und Selbstverletzung bei mehreren Schweregraden. Optionale Klassifizierungsmodelle erkennen auch Jailbreakrisiken, bekanntes Text- oder Codematerial und indirekte Einschleusungsangriffe. Diese mehrstufigen Steuerelemente verhindern, dass die KI Antworten erzeugt, die gegen die Sicherheitsstandards von Microsoft verstoßen.

  • Entwurf des Sicherheitssystems: Microsoft hat ein Sicherheitssystem für Security Copilot entwickelt, das darauf ausgelegt ist, Fehler zu minimieren und Missbrauch zu verhindern, einschließlich Anmerkungen zu schädlichen Inhalten, Betriebsüberwachung und anderen Sicherheitsvorkehrungen. Die Azure OpenAI Service Responsible AI Mitigation Requirements gelten nicht direkt für Security Copilot Kunden, da Security Copilot diese Risikominderungen im Namen des Kunden implementiert.

  • Benutzerfeedbackschleife: Die Plattform bietet integrierte Feedbackmechanismen: Bedarfsverbesserung, Unangemessen und Sucht die richtigen Optionen, mit denen Benutzer problematische und nützliche Ausgaben direkt an Microsoft melden können. Dieses Feedback führt zu kontinuierlichen Verbesserungszyklen und ermöglicht schnelle Korrekturen und Modellanpassungen, wenn Fehler oder Fehlausrichtungen erkannt werden.

  • Datenverschlüsselung und Zugriffsschutz: Kundendaten, die von Security Copilot verarbeitet werden, werden sowohl bei der Übertragung als auch im Ruhezustand verschlüsselt, wie im Nachtrag zum Datenschutz von Microsoft-Produkten und -Diensten beschrieben. Standardmäßig haben keine menschlichen Benutzer Zugriff auf die Datenbank, und der Netzwerkzugriff ist auf das private Netzwerk beschränkt, in dem die Security Copilot Anwendung bereitgestellt wird. Wenn ein Zugriff auf Personen erforderlich ist (für die Reaktion auf Vorfälle), müssen der erhöhte Zugriff und der Netzwerkzugriff von autorisierten Microsoft-Mitarbeitern genehmigt werden. Weitere Informationen finden Sie unter Compliance.

  • Phasenweiser Bereitstellungsansatz: Security Copilot Features über ein Programm für den frühen Zugriff auf Einladungen veröffentlicht, sodass Microsoft Feedback sammeln und Features vor einer breiteren Verfügbarkeit verfeinern kann.

Unser Ansatz zum Zuordnen, Messen und Verwalten von Risiken wird sich weiterentwickeln, wenn wir mehr erfahren, und wir nehmen bereits Verbesserungen auf der Grundlage des Feedbacks von Kunden vor.

Bewährte Methoden für die Bereitstellung und Einführung von Microsoft Security Copilot

Verantwortungsvolle KI ist eine gemeinsame Verpflichtung von Microsoft und seinen Kunden. Während Microsoft KI-Systeme mit Sicherheit, Fairness und Transparenz im Kern erstellt, spielen Kunden eine wichtige Rolle bei der Bereitstellung und Verwendung dieser Technologien in ihren eigenen Kontexten.

Security Copilot Agenten sind darauf ausgelegt, menschliches Fachwissen zu erweitern, nicht zu ersetzen. Kunden sind weiterhin für die Überprüfung von Ausgaben, die Überprüfung von Entscheidungen und die Sicherstellung der Einhaltung der geltenden Gesetze, Vorschriften und Organisationsrichtlinien verantwortlich.

Bereitstellungs- und Endbenutzer sollten:

  • Seien Sie vorsichtig, und bewerten Sie die Ergebnisse, wenn Sie Security Copilot für Folgeentscheidungen oder in sensiblen Bereichen verwenden: Folgeentscheidungen können rechtliche oder erhebliche Auswirkungen auf den Zugang einer Person zu Beschäftigung, juristischen Dienstleistungen, Gesundheitsdiensten haben oder zu physischen, psychischen oder finanziellen Schäden führen. Sensible Bereiche wie Finanzdienstleistungen, Gesundheitswesen und Recht erfordern aufgrund der möglichen unverhältnismäßigen Auswirkungen auf verschiedene Personengruppen besondere Sorgfalt. Wenn Sie KI für Entscheidungen in diesen Bereichen verwenden, sollten Kunden sicherstellen, dass betroffene Beteiligte verstehen, wie Entscheidungen getroffen werden, Einspruchsentscheidungen treffen und alle relevanten Eingabedaten aktualisieren können.

  • Bewerten von rechtlichen und regulatorischen Überlegungen: Kunden müssen potenzielle spezifische rechtliche und regulatorische Verpflichtungen bei der Verwendung von KI-Diensten und -Lösungen bewerten, die möglicherweise nicht für die Verwendung in allen Branchen oder Szenarios geeignet sind. Darüber hinaus sind KI-Dienste oder -Lösungen nicht für und dürfen nicht in einer Weise verwendet werden, die in den geltenden Nutzungsbedingungen und relevanten Verhaltenskodizes verboten ist.

  • Aktivieren und Verwalten relevanter Plug-Ins: Die Qualität und Genauigkeit der Security Copilot Antworten hängen erheblich von den aktivierten Plug-Ins ab. Administratoren sollten sicherstellen, dass geeignete Plug-Ins von Microsoft und Drittanbietern konfiguriert und verwaltet werden, damit Benutzer fundierte, kontextbezogene Antworten erhalten.

Endbenutzer sollten:

  • Schreiben von effektiven Eingabeaufforderungen: Das Schreiben eindeutiger, bestimmter Eingabeaufforderungen ist der Schlüssel, um bessere Ergebnisse mit Security Copilot zu erzielen. Schließen Sie relevanten Kontext ein, z. B. Incident-IDs, Ressourcennamen oder Zeitbereiche. Iteration und erneutes Generieren von Eingabeaufforderungen nach Bedarf, Überprüfung und Überprüfung von KI-generierten Antworten. Weitere Informationen finden Sie unter Aufforderungstipps für Security Copilot.

  • Beaufsichtigung durch Den Menschen, wenn dies angebracht ist: Die menschliche Aufsicht ist eine wichtige Sicherheit bei der Interaktion mit KI-Systemen. Während wir Security Copilot kontinuierlich verbessern, können KI-Systeme Fehler machen. Die generierte Ausgabe kann aufgrund von Mehrdeutigkeiten bei Eingaben oder Einschränkungen der zugrunde liegenden Modelle ungenau, unvollständig, voreingenommen oder nicht vollständig auf ihre beabsichtigten Ziele ausgerichtet sein. Benutzer sollten die von Security Copilot generierten Antworten überprüfen und überprüfen, ob sie ihren Erwartungen und Anforderungen entsprechen, bevor sie Maßnahmen ergreifen.

  • Seien Sie sich des Risikos einer Überzulässigkeit bewusst: Überzulässigkeit bei KI tritt auf, wenn Benutzer falsche oder unvollständige KI-Ausgaben akzeptieren, hauptsächlich weil Fehler in KI-Ausgaben möglicherweise schwer zu erkennen sind. Für Sicherheitsexperten kann eine Überzulässigkeit zu verpassten Bedrohungen, falschen Incident-Schlussfolgerungen oder Richtlinienänderungen führen, die auf fehlerhaften Empfehlungen basieren. Security Copilot enthält ki-Offenlegung und zitiert Quellmaterialien, um dieses Risiko zu minimieren, aber Benutzer sollten dennoch sicherstellen, dass sie die Genauigkeit der Antworten überprüfen. Benutzer können die Agent-Knotenzuordnung überprüfen, die eine allgemeine Ansicht der Schritte bietet, die während des Workflows eines Agents ausgeführt werden.

  • Seien Sie vorsichtig, wenn Sie agentische KI in sensiblen Domänen bereitstellen oder entwerfen: Benutzer müssen beim Konfigurieren und Bereitstellen von agentischen KI-Systemen in Domänen, in denen Agent-Aktionen irreversibel oder äußerst folgerichtig sind, eine angemessene menschliche Aufsicht implementieren. Beim Erstellen autonomer agentischer KI sollten zusätzliche Vorsichtsmaßnahmen getroffen werden, wie im Microsoft Enterprise AI Services Code of Conduct beschrieben.

Deployer sollten:

  • Sorgfältiges Konfigurieren von RBAC- und Agent-Berechtigungen: Administratoren sind für die Konfiguration rollenbasierter Zugriffssteuerungen für Benutzer und Agents verantwortlich. Berechtigungen sollten dem Prinzip der geringsten Rechte folgen. Agents sollte nur Zugriff auf die Daten und Aktionen gewährt werden, die für ihre bestimmte Aufgabe erforderlich sind.

  • Überwachen von Nutzungs- und Überprüfungsaktivitäten: Administratoren (Besitzer) können die Security Copilot nutzungsüberwachung Dashboard verwenden, um Daten auf Sitzungsebene zu überprüfen, z. B. die Nutzung im Zeitverlauf, Sitzungsinitiatoren und Plug-Ins, die während Sitzungen verwendet werden. Diese Sichtbarkeit hilft Organisationen zu verstehen, wie Security Copilot über Eingabeaufforderungen, Promptbooks und Agents hinweg verwendet wird. Weitere Informationen finden Sie unter Verwalten der Nutzung.

  • Verwalten von Datenfreigabeeinstellungen: Besitzer können die Einstellungen für die Freigabe von Kundendaten jederzeit konfigurieren und müssen diese Einstellungen in Übereinstimmung mit den Datenschutz- und Complianceanforderungen ihrer organization überprüfen und aktualisieren. Weitere Informationen finden Sie unter Datenschutz und Datensicherheit in Microsoft Security Copilot.

  • Informieren Sie Benutzer über Funktionen und Einschränkungen: Eine effektive und verantwortungsvolle Verwendung von Security Copilot erfordert, dass Benutzer verstehen, was das System kann und was nicht. Bereitstellende sollten Schulungen und Anleitungen bereitstellen, um Benutzern bei der effektiven Interaktion mit Security Copilot zu helfen, einschließlich der Wichtigkeit der Überprüfung von KI-generierten Ausgaben, bevor Maßnahmen ergriffen werden.

Weitere Informationen zu Security Copilot

Weitere Anleitungen zur verantwortungsvollen Verwendung von Microsoft Security Copilot finden Sie in der folgenden Dokumentation:

Weitere Informationen zu verantwortungsvoller KI

  • Last updated on