Anwendungs-Karte: Microsoft Security Copilot-Agents

Was ist eine Anwendungs- oder Plattform-Karte?

Die Anwendungs- und Plattformkarten von Microsoft sollen Ihnen helfen, zu verstehen, wie unsere KI-Technologie funktioniert, welche Entscheidungen Anwendungsbesitzer treffen können, die die Leistung und das Verhalten der Anwendung beeinflussen können, und wie wichtig es ist, die gesamte Anwendung zu berücksichtigen, einschließlich der Technologie, der Menschen und der Umgebung. Anwendungskarten werden für KI-Anwendungen und Plattformkarten für KI-Plattformdienste erstellt. Diese Ressourcen können die Entwicklung oder Bereitstellung Ihrer eigenen Anwendungen unterstützen und für Benutzer oder Projektbeteiligte freigegeben werden, die von ihnen betroffen sind.

Im Rahmen seiner Verpflichtung zu verantwortungsvoller KI hält sich Microsoft an sechs Grundprinzipien: Fairness, Zuverlässigkeit und Sicherheit, Datenschutz und Sicherheit, Inklusion, Transparenz und Verantwortlichkeit. Diese Prinzipien sind in die verantwortungsvolle KI-Standard eingebettet, die Teams beim Entwerfen, Erstellen und Testen von KI-Anwendungen unterstützt. Anwendungs- und Plattformkarten spielen eine schlüsselrolle bei der Operationalisierung dieser Prinzipien, indem sie Transparenz in Bezug auf Funktionen, beabsichtigte Verwendungen und Einschränkungen bieten. Um weitere Erkenntnisse zu erhalten, sollten die Leser den Bericht zur Transparenz verantwortungsvoller KI von Microsoft und den Microsoft Enterprise AI Services Code of Conduct erkunden, in dem beschrieben wird, wie sie verantwortungsbewusst mit KI umgehen können.

Übersicht

Microsoft Security Copilot ist eine generative KI-gestützte Sicherheitslösung, die dazu beiträgt, die Effizienz und Die Fähigkeiten von Verteidigern zu erhöhen, um Sicherheitsergebnisse bei Maschinengeschwindigkeit und Skalierung zu verbessern. Security Copilot bietet eine natürliche, assistive Copilot-Erfahrung, die Sicherheitsexperten und IT-Administratoren dabei unterstützt, eine Vielzahl von End-to-End-Szenarien zu bewältigen, einschließlich Reaktion auf Vorfälle, Bedrohungssuche, Informationserfassung und Statusverwaltung.

Security Copilot wurde unter Berücksichtigung der Integration entwickelt und bietet eine immersive eigenständige Erfahrung unter https://securitycopilot.microsoft.com. Die Plattform lässt sich nahtlos in Produkte des Microsoft-Sicherheitsportfolios integrieren, z. B. Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra und Microsoft Purview sowie unterstützte Drittanbieterdienste.

Ein Security Copilot-Agent generiert Ausgaben und kann Aktionen basierend auf konfigurierter Logik, Berechtigungen und Triggern ausführen, die vom Kunden definiert werden. Kunden können autonome Security Copilot Agents verwenden, um Sicherheitsworkflows zu automatisieren, Antwortzeiten zu beschleunigen, Risiken zu priorisieren und manuelle Workloads zu reduzieren, während sie die volle Kontrolle behalten. Agentautonomie bezieht sich auf die Fähigkeit eines Agents, innerhalb definierter Grenzen unabhängig Aktionen auszuführen.

Ein Administrator (Security Copilot Besitzer) ermittelt Und stellt Agents über das Security Copilot-Portal und den Sicherheitsspeicher bereit, wobei einige Agents auch in eingebetteten Microsoft-Sicherheitsproduktumgebungen angezeigt werden. Der Administrator legt die Identität des Agents fest und konfiguriert die rollenbasierte Zugriffssteuerung (Role-Based Access Control, RBAC) für den Agent.

Zu den vorgesehenen Benutzern gehören SOC-Analysten, IT-Administratoren, Datensicherheits- und Identitätsadministratoren, Complianceanalysten und Sicherheitsleiter wie Chief Information Security Officers (CISOs).

Security Copilot verfügt über die ISO 42001-Zertifizierung, die bestätigt, dass ein unabhängiger Dritter die Anwendung des erforderlichen Frameworks und der Funktionen von Microsoft überprüft hat, um Risiken und Chancen im Zusammenhang mit der kontinuierlichen Entwicklung, Bereitstellung und dem Betrieb von Microsoft AI Systemen effektiv zu verwalten.

Weitere Informationen finden Sie unter Was ist Microsoft Security Copilot?, Microsoft Security Copilot Erfahrungen und Application Karte für Security Copilot.

Schlüsselbegriffe

Die folgende Tabelle enthält ein Glossar mit Schlüsselbegriffen im Zusammenhang mit Microsoft Security Copilot Agents.

Wichtige Features oder Funktionen

Die wichtigsten Features und Funktionen in der folgenden Tabelle beschreiben, worauf Microsoft Security Copilot ausgelegt ist und wie es über unterstützte Aufgaben hinweg funktioniert.

Security Copilot ist eine KI-gestützte Sicherheitslösung, die sowohl assistiv als auch als autonomes agentisches System arbeitet. Um die Autonomie des Agents zu verstehen, sollten Sie Folgendes in Betracht ziehen:

• Aktivierungstrigger: Welche Bedingungen oder Benutzeraktionen bewirken, dass der Agent ausgeführt wird
• Zugriffsberechtigungen : Welche Daten, Systeme oder Ressourcen kann der Agent verwenden?
• Aktionsrechte – welche Aktionen der Agent selbst ausführen darf

In den folgenden Abschnitten werden die wichtigsten agentischen Funktionen beschrieben, die unterstützen, wie Agents ihre Reichweite begründen, planen, sich merken, anpassen und erweitern.

Begründung

Security Copilot Agents verwenden das zugrunde liegende große Sprachmodell, um den verfügbaren Kontext zu analysieren, Signale auszuwerten und die am besten geeignete Vorgehensweise zu bestimmen. Der Phishing-Triage-Agent bewertet beispielsweise E-Mail-Inhalte, Absenderzuverlässigkeit und Verhaltenssignale, um ein Klassifizierungsurteil mit einer natürlichen Sprache zu erstellen. Agents stellen ihre Argumentation transparent dar, sodass Analysten Schlussfolgerungen überprüfen, überprüfen oder überschreiben können, bevor sie darauf reagieren.

Planung

Agents arbeiten mit definierten Triggern, die das agentische System anweisen, eine strukturierte Sequenz von Aktionen in Richtung eines Ziels zu initiieren. Agents können für Folgendes konfiguriert werden:

• Wird automatisch nach einem Zeitplan ausgeführt (z. B. wird der Threat Intelligence Briefing-Agent alle sieben Tage ausgeführt).
• Führen Sie bei Bedarf manuell bei Bedarf aus.

Dieser Entwurf bietet Agents ein zielorientiertes Ausführungsmodell, bei dem das System analysiert, wann und wie seine Aufgabe abgeschlossen werden soll.

Arbeitsspeicher

Security Copilot Agents können Informationen im Laufe der Zeit beibehalten, die als Arbeitsspeicher bezeichnet werden. Der Arbeitsspeicher ermöglicht es einem Agent, frühere Eingaben in zukünftiges Verhalten zu integrieren, je nachdem, wie der Agent entworfen und konfiguriert ist.

Der Arbeitsspeicher kann Feedback enthalten, das von Benutzern bereitgestellt wird. Agents können dieses Feedback verwenden, um ihre Antworten oder Aktionen in nachfolgenden Interaktionen anzupassen.

Anpassungsfähigkeit

Security Copilot Agents sind so konzipiert, dass sie sich basierend auf Benutzerfeedback und betriebsbezogenem Kontext anpassen und weiterhin innerhalb des Bereichs arbeiten, der durch ihre konfigurierte Identität, Berechtigungen und Trigger definiert ist.

• Feedbackschleife: Security Copilot Besitzer und Mitwirkende können Feedback zu den Antworten eines Agents geben. Dieses Feedback wird im Arbeitsspeicher des Agents gespeichert und kann abhängig vom Agententwurf und der Konfiguration zukünftige Ausgaben beeinflussen.
• Kontextbezogene Erdung: Während der Eingabeaufforderungsverarbeitung werden Eingabeaufforderungen mithilfe von Erdung Security Copilot erweitert. Dieser Prozess umfasst relevante Organisationsdaten, aktivierte Plug-Ins und Threat Intelligence, sodass die Antworten den aktuellen Kontext widerspiegeln.
• Konfigurierbare Identität und Berechtigungen: Agents können nach dem Setup aktualisiert werden, um Identitäten, Trigger und Parameter zu ändern. Dies ermöglicht Es Agents, sich an den sich entwickelnden Workflows und Anforderungen anzupassen.

Erweiterbarkeit

• Plug-Ins: Agents verwenden Plug-Ins, um externe Dienste über APIs zu erreichen, einschließlich Reputationssuche, Threat Intelligence und Endpunktdaten. Sowohl von Microsoft erstellte als auch von Partnern erstellte Plug-Ins werden unterstützt. Weitere Informationen finden Sie unter Übersicht über Plug-Ins.
• Connectors: Logic Apps und Copilot Studio Connectors umschließen die Security Copilot-API, sodass Entwickler und Benutzer die Plattform über externe Automatisierungsworkflows aufrufen können. Weitere Informationen finden Sie unter Übersicht über Connectors.
• Benutzerdefinierte Agents: Entwickler können benutzerdefinierte Agents erstellen, die auf bestimmte Anwendungsfälle zugeschnitten sind, und sie dem Security Copilot Ökosystem über die Entwicklerplattform hinzufügen. Weitere Informationen finden Sie unter Entwickeln von benutzerdefinierten Agents.
• Sicherheitsspeicher: Vordefinierte Microsoft- und Partner-Agents können über die integrierte Agent-Bibliothek und den Sicherheitsspeicher ermittelt und bereitgestellt werden.
• Eingebettete Umgebungen: Agents arbeiten nicht nur im eigenständigen Security Copilot-Portal, sondern sind auch in das gesamte Microsoft-Sicherheitsökosystem eingebettet, einschließlich Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra und Microsoft Purview.

Beabsichtigte Verwendung

Microsoft Security Copilot Agents sind für Sicherheitsexperten und IT-Administratoren konzipiert, um Sicherheitsworkflows wie das Sammeln von Informationen und Die Korrelation zu unterstützen. Agents können mit vom Administrator definierten Berechtigungen arbeiten und Dabei helfen, Aufgaben zu optimieren, die andernfalls erheblichen manuellen Aufwand erfordern könnten, während der Mensch die Kontrolle behält. Einige Beispiele für beabsichtigte Agent-Anwendungsfälle sind:

• Threat Intelligence-Briefing: Der Threat Intelligence Briefing-Agent generiert zeitnahe, detaillierte Threat Intelligence-Berichte, indem er Microsoft Defender Threat Intelligence Daten korreliert, Defender External Attack Surface Management (EASM) Signale und Kundenkontext in Echtzeit. Sicherheitsanalysten können diesen Agent verwenden, um Stunden oder Tage der manuellen Erfassung und Korrelation von Informationen durch einen in Minuten generierten Bericht zu ersetzen.

• Sicherheitsdatenanalyse (Microsoft Defender XDR): Der Security Analyst Agent unterstützt Sicherheitsanalysten dabei, Risiken in großen Mengen von Sicherheitsdaten schnell zu identifizieren, zu bewerten und zu priorisieren. Der Agent führt sowohl grundlegende Analyseaufgaben wie Musteranalyse, Trendanalyse und Visualisierung als auch erweiterte Aufgaben wie Anomalieerkennung, Clustering, Risikobewertung und Vorhersagemodellierung aus. Es integriert Daten aus Microsoft Defender XDR, Microsoft Sentinel Log Analytics, Microsoft Sentinel Data Lake und hochgeladenen CSV-Dateien, wodurch priorisierte Erkenntnisse mit einem vollständigen Beweispfad in einer interaktiven, codefreien Chaterfahrung generiert werden.

• Sicherheitsvorgänge und Reaktion auf Vorfälle (Microsoft Defender XDR):

  • Der Phishing-Selektierungs-Agent wertet von Benutzern gemeldete Phishing-E-Mails aus, während sie übermittelt werden, klassifiziert Urteile mit transparenten Begründungen und integriert Analystenfeedback im Laufe der Zeit.
  • Der Agent für die dynamische Bedrohungserkennung wird kontinuierlich im Hintergrund ausgeführt, um versteckte Bedrohungen und Lücken in Defender- und Microsoft Sentinel-Umgebungen aufzudecken, indem Warnungen, Ereignisse, Anomalien und Threat Intelligence korreliert werden.

• Bedrohungssuche (Microsoft Defender XDR): Der Threat Hunting-Agent ermöglicht die End-to-End-Bedrohungssuche in natürlicher Sprache. Es generiert KQL-Abfragen, interpretiert Ergebnisse, liefert Erkenntnisse und führt Analysten durch vollständige Huntingsitzungen, um Bedrohungen schneller und mit größerer Sicherheit zu finden.

• Identitäts- und Zugriffsverwaltung (Microsoft Entra):

  • Der Optimierungs-Agent für bedingten Zugriff analysiert Richtlinien für bedingten Zugriff und empfiehlt Verbesserungen basierend auf bewährten Methoden von Microsoft und Zero Trust Prinzipien.
  • Der Identity Risk Management-Agent unterstützt Identitätsadministratoren dabei, potenzielle Risiken zu untersuchen und Maßnahmen zum Schutz kritischer Ressourcen zu ergreifen.

• Endpunktverwaltung (Microsoft Intune):

  • Der Agent zur Behebung von Sicherheitsrisiken verwendet Defender-Daten, um Sicherheitsrisiken zu überwachen und die Behebung mit KI-gesteuerten Risikobewertungen zu priorisieren.
  • Mit dem Richtlinienkonfigurations-Agent können Administratoren Dokumente importieren oder Anweisungen in einfacher Sprache schreiben, um übereinstimmende Einstellungen im Intune Einstellungskatalog zu finden und Richtlinien zu erstellen.
  • Der Änderungsüberprüfungs-Agent wertet die Auswirkungen von Genehmigungsanforderungen in Intune aus und gibt Empfehlungen für Aktionen, die Administratoren ergreifen können.

• Untersuchung der Datensicherheit (Microsoft Purview):

  • Der Triage-Agent im Insider-Risikomanagement wertet Warnungen basierend auf dem Benutzer-, Datei- und Aktivitätsrisiko aus und sortiert sie automatisch in priorisierte Kategorien, damit sich Sicherheitsteams auf die Fälle mit dem höchsten Risiko konzentrieren können.
  • Der Purview-Selektierungs-Agent in der Verhinderung von Datenverlust wertet DLP-Warnungen basierend auf dem Vertraulichkeitsrisiko, dem Exfiltrationsrisiko und dem Richtlinienrisiko aus, um Datensicherheitsadministratoren dabei zu helfen, auf die kritischsten Vorfälle zu reagieren.

• Benutzerdefinierte agentische Workflows: Entwickler können benutzerdefinierte Agents erstellen und bereitstellen, indem sie die Verarbeitung natürlicher Sprache verwenden, das Agent-Manifest hochladen oder die MCP-Tools verwenden, die auf die spezifischen Sicherheitsanwendungsfälle ihrer organization zugeschnitten sind, und die Agent-Funktionen durch Plug-Ins und Connectors auf Microsoft- und Nicht-Microsoft-Dienste erweitern. Weitere Informationen finden Sie unter Benutzerdefinierte Agents.

  Sie können auch einen interaktiven Chat-Agent erstellen, wenn Agents und Benutzer zusammenarbeiten müssen, um eine geführte Erfahrung zu erhalten, um etwas zu lösen. Weitere Informationen finden Sie unter Interactive Agent.

Modelle und Trainingsdaten

Microsoft Security Copilot verwendet Azure OpenAI-LLMs (Large Language Models) von Foundry Models, die von Azure verkauft werden, um Erfahrungen in natürlicher Sprache zu unterstützen. Diese Modelle werden nicht mit Security Copilot Kundendaten trainiert. Die Modellfunktionen variieren in Bezug auf Argumentation, Geschwindigkeit, Einschränkungen und unterstützte Szenarien.

Security Copilot enthält auch sicherheitsspezifisches Wissen und Kontext durch Plug-Ins und Grounding, die dem LLM relevante Organisationsdaten, Threat Intelligence und autoritative Inhalte zur Rückschlusszeit statt durch Modelltraining zur Verfügung stellen.

Leistung

Security Copilot ist für den Betrieb in Unternehmenssicherheitsumgebungen konzipiert, in denen große Mengen von Echtzeitsicherheitssignalen für Microsoft-Sicherheitsprodukte und andere Datenquellen generiert werden, die vom organization konfiguriert werden. Es integriert Signale aus diesen Quellen und kombiniert die Echtzeitverarbeitung strukturierter Protokolldaten mit untersuchungsbasiertem Denken. Dies ist darauf ausgelegt, die Ursache und Auswirkungen von Sicherheitsvorfällen in mehreren Datenquellen zu erkennen, zu analysieren und nachzuverfolgen.

Security Copilot wird in der Hyperscale-Infrastruktur von Microsoft und einer sicherheitsspezifischen Orchestrierungsebene ausgeführt, die eine skalierbare, resiliente Leistung in Szenarien mit wiederholter Bedrohungserkennung und -untersuchung unterstützen soll.

Agents erweitern Security Copilot die Fähigkeit, auf Sicherheitssignale zu reagieren, indem sie definierte Sicherheitsaufgaben über vom Administrator konfigurierte Berechtigungen ausführen. Agents über die verfügbaren Signale, planen und führen strukturierte Aktionen aus und erzeugen Ausgaben wie Selektierungsentscheidungen, Intelligence-Berichte und Anleitungen zur Behebung, die auf Organisations- und Threat Intelligence-Daten in Echtzeit basieren. Die Agent-Ausführung ist durch schritt-für-Schritt-Knotenzuordnungen transparent, sodass Analysten generierte Schritte überprüfen können (keine ausführliche Zusammenfassung der spezifischen Aktionen, die auf jedem Knoten ausgeführt werden) und ergebnisse über Läufe hinweg überprüfen können.

Die Leistungssicherheit wird durch vorkonfigurierte Microsoft-Agents, die mit repräsentativen Workflows getestet werden, und benutzerdefinierten Agents unterstützt, bei denen eine YAML-Manifestdatei dazu beitragen kann, ein konsistentes Verhalten zu fördern, indem Funktionen, Tools, Trigger und Betriebsgrenzen angegeben werden. Wenn Manifestanweisungen klar definiert sind, ist der Agent möglicherweise besser in der Lage, seine Aufgabe zu interpretieren, geeignete Aktionen auszuwählen und innerhalb des beabsichtigten Bereichs zu arbeiten. Weitere Informationen finden Sie unter Benutzerdefinierte Agents.

Bei interaktiven Agents wird die Leistung in erster Linie durch den iterativen Austausch zwischen dem Agent und dem Benutzer gestaltet. Der Agent erzeugt eine erste Antwort, und der Benutzer optimiert den Kontext durch Folgeaufforderungen basierend auf dem, was der Agent angezeigt wird. Diese Hin- und Her-Interaktion ermöglicht es dem Benutzer, den Agent inkrementell zu genaueren und gezielteren Ergebnissen zu leiten, als eine einzelne autonome Ausführung erzeugen würde. Weitere Informationen finden Sie unter Interaktive Agents.

Begrenzungen

Es ist wichtig, die Einschränkungen Security Copilot zu verstehen, um sicherzustellen, dass es innerhalb sicherer und effektiver Grenzen verwendet wird. Kunden werden zwar empfohlen, Security Copilot in ihren Sicherheitsworkflows zu verwenden, aber es ist wichtig zu beachten, dass Security Copilot nicht für jedes mögliche Szenario konzipiert wurde. Beachten Sie bei der Auswahl eines Anwendungsfalls den Verhaltenskodex für Microsoft Enterprise AI Services sowie die folgenden Überlegungen:

• Public Preview status: Einige Agents befinden sich in der öffentlichen Vorschau und werden möglicherweise vor der allgemeinen Verfügbarkeit erheblich geändert. Microsoft übernimmt in Bezug auf diese Funktionen keine Gewährleistungen, weder ausdrücklich noch konkludent. Wie bei jeder KI-Ausgabe müssen Kunden die Entscheidungsfindung des Agenten überprüfen, bevor sie auf seine Ausgaben reagieren.
• Genauigkeit und Vollständigkeit: Wie jede KI-gestützte Technologie macht Security Copilot nicht alles richtig. Antworten können ungenau, unvollständig oder veraltet sein, insbesondere wenn die relevanten Plug-Ins nicht aktiviert sind oder wenn die aktuellsten Daten nicht über Benutzereingaben oder Organisationskontext verfügbar sind. Benutzer sollten immer menschliches Urteilsvermögen üben und kritische Ausgaben überprüfen, anstatt sich nur auf KI-generierte Antworten zu verlassen.
• Domänenspezifischer Bereich: Security Copilot ist darauf ausgelegt, auf Eingabeaufforderungen im Zusammenhang mit der Sicherheitsdomäne zu reagieren, z. B. incident investigation und Threat Intelligence. Prompts außerhalb des Sicherheitsbereichs können zu Antworten führen, bei denen es an Genauigkeit und Vollständigkeit mangelt.
• Skript- und Codegenerierung: Security Copilot können Code generieren oder Code in Antworten einschließen. Antworten erscheinen möglicherweise gültig, sind aber möglicherweise semantisch oder syntaktisch nicht korrekt oder spiegeln die Absicht des Anfordernden nicht genau wider. Generierter Code sollte nicht ohne geeignete Validierungs-, Test- und Überprüfungsverfahren in Produktionsumgebungen bereitgestellt werden. Benutzer müssen außerdem überprüfen, ob alle parameter, die vom generierten Code verwendet werden, mit der ursprünglichen Anforderung übereinstimmen. Wenn ein Agent z. B. Warnungen innerhalb eines bestimmten Zeitraums verarbeitet, vergewissern Sie sich, dass der Zeitbereich im generierten Code mit dem in der Eingabeaufforderung in natürlicher Sprache angegebenen Zeitbereich übereinstimmt.
• Eingabeaufforderungslängeneinschränkungen: Das System ist möglicherweise nicht in der Lage, lange Eingabeaufforderungen zu verarbeiten, z. B. Eingabeaufforderungen, die Hunderttausende von Zeichen enthalten. Die zugrunde liegende LLM weist einen Tokengrenzwert auf, und übermäßig ausführliche Abfragen oder erweiterte Sitzungen können den Tokenspeicherplatz überlaufen. Wenn dieses Szenario eintritt, versucht Security Copilot, Gegenmaßnahmen anzuwenden, um sicherzustellen, dass eine Ausgabe immer verfügbar ist, auch wenn der Inhalt nicht optimal ist. Diese Risikominderungen sind jedoch nicht immer wirksam, und es kann erforderlich sein, eine andere Eingabeaufforderung oder ein anderes Plug-In zu versuchen.
• Nutzungslimits und Latenz: Die Nutzung der Plattform kann nutzungslimits oder Kapazitätseinschränkung unterliegen. Das Generieren von Antworten, einschließlich API-Aufrufe über Plug-Ins und Überprüfen von Antworten vor der Anzeige, kann Zeit in Anspruch nehmen und eine hohe GPU-Kapazität erfordern. Organisationen sollten ihren SCU-Verbrauch überwachen und die bereitgestellte Kapazität nach Bedarf anpassen, um unerwartete Dienstunterbrechungen zu vermeiden.
• Bias, Stereotyping und ungrundierte Inhalte: Trotz der Implementierung verantwortungsvoller KI-Steuerelemente für Benutzereingabeaufforderungen und LLM-Ausgaben sind KI-Dienste fehlbar und probabilistisch. Dies macht es schwierig, alle unangemessenen Inhalte umfassend zu blockieren, was zu potenziellen Verzerrungen, Stereotypen oder nicht fundierten Inhalten in kigenerierten Ausgaben führen kann.
• Government und Microsoft Sovereign Public/Private Cloud: Security Copilot wird in diesen Umgebungen derzeit nicht unterstützt.
• Aufgabenspezifische Agent-Grenzen: Die Agents eignen sich nur für die spezifische Aufgabe, für die sie entworfen wurden. Weitere Informationen finden Sie im Abschnitt zu den vorgesehenen Anwendungsfällen . Sie sind nicht für andere Aufgaben geeignet und sollten nicht über ihren definierten Bereich hinaus verwendet werden.
• Knotenzuordnungsdetails: Die Agent-Knotenzuordnung bietet eine allgemeine Ansicht der Schritte, die während eines Agent-Workflows ausgeführt werden. Jeder Knoten stellt einen Schritt im Prozess dar und zeigt den Titel des verwendeten Skills zusammen mit grundlegenden Metadaten wie Abschluss status, Dauer und Zeitstempel an. Die Knotenzuordnung ist so konzipiert, dass die Reihenfolge der Aktionen angezeigt wird, aber sie bietet keine detaillierten Informationen zu den spezifischen Vorgängen oder Entscheidungen, die in den einzelnen Schritten getroffen wurden. Da die Knotenzuordnung nur zusammengefasste Informationen enthält, erfasst sie möglicherweise nicht vollständig den Kontext oder die Komplexität der einzelnen Aktionen.
• Agent-Feedback und Arbeitsspeichertransparenz: Wenn Benutzer Feedback an einen Agent zur Speicherung im Arbeitsspeicher übermitteln, liefert der Agent keine Zusammenfassung seiner Interpretation des Feedbacks. Um die Genauigkeit zukünftiger Ausgaben zu erhöhen, sollten Benutzer klares, präzises und spezifisches Feedback geben. Feedback, das an einen Agent übermittelt wird, kann gespeichert und verwendet werden, um zukünftige Ausgaben zu beeinflussen. Der Einblick in dieses gespeicherte Feedback kann jedoch je nach Agenterfahrung und Benutzerrolle variieren. Weitere Informationen finden Sie unter Bereitstellen von Feedback.

Bewertungen

Leistungs- und Sicherheitsbewertungen bewerten, ob KI-Anwendungen zuverlässig und sicher funktionieren, indem Faktoren wie Grundhaftigkeit, Relevanz und Kohärenz untersucht und gleichzeitig die Risiken der Generierung schädlicher Inhalte identifiziert werden. Die folgenden Bewertungen wurden mit bereits vorhandenen Sicherheitskomponenten durchgeführt, die auch unter Sicherheitskomponenten und Entschärfungen beschrieben sind.

Auswertungsdaten für Qualität und Sicherheit

Unsere Auswertungsdaten wurden speziell entwickelt, um die Leistung von KI-Anwendungen in wichtigen Bereichen der Sicherheit und Qualität zu bewerten und reale Szenarien und Risiken zu simulieren. Wir beginnen mit der Identifizierung relevanter Bewertungsaspekte, die auf multidisziplinären Forschungen und Experteneinschätzungen basieren. Diese Bedenken werden in gezielte Bewertungsziele und Die Formulierung von Auswertungsmetriken übersetzt.

Aus Sicherheitsgründen erstellen wir angreiferische Eingabeaufforderungen, um unerwünschte Oder Fallreaktionen auszusprechen, die dann mit KI-gestützten Annotatoren bewertet werden, die zur Bewertung der Übereinstimmung mit den Sicherheitsstandards von Microsoft trainiert wurden. Aus Qualitätsgründen erstellen wir rubrikenbasierte Aufforderungen, die für Szenarien relevant sind, einschließlich der Auswertung von Rag-Anwendungen (Retrieval-Augmented Generation) und Agents.

Datasets werden aus verschiedenen Quellen zusammengestellt, einschließlich synthetischer und öffentlicher Datasets, um reale Benutzerszenarien zu simulieren. Mithilfe der kuratierten Datasets werden beide Auswertungen iterativer Verfeinerung und menschlicher Ausrichtung unterzogen, um die Effizienz und Zuverlässigkeit von Metriken zu verbessern. Diese Methodik bildet die Grundlage für wiederholbare, strenge Bewertungen, die widerspiegeln, wie Kunden Bewertungen verwenden, um eine bessere und sicherere KI zu erstellen.

Benutzerdefinierte Auswertungen

Benutzerdefinierte Auswertungen wurden durchgeführt, um die Modellleistung in Erdungs-, Kontrahentitäts- und schädlichen Inhaltsszenarien mithilfe von Regressionstests, kuratierten Promptdatasets und produktionsorientierten Beispielen zu überprüfen. Bei der Auswertung wurden Ausgaben zwischen GPT-Modellen verglichen, wobei interne Tools verwendet wurden, um die Grundhaftigkeit zu bewerten, und Azure OpenAI-Inhaltsfilterung, um den Schutz vor Jailbreak, prompter Einschleusung und Verstößen gegen geistiges Eigentum zu überprüfen. Die Ergebnisse zeigen eine konsistente oder verbesserte Leistung, einschließlich starker Schutzraten in angreiferischen Szenarien und einer verbesserten Erdungsgenauigkeit.

Die Behandlung schädlicher Inhalte bleibt modellübergreifend konsistent und wird im Anmerkungsmodus ausgeführt, um sicherheitsorientierte Anwendungsfälle zu unterstützen, wobei zusätzliche umfangreiche Tests hohe Schutzraten über Kategorien hinweg bestätigen. Regressionstests werden durchgeführt, um zu überprüfen, ob der inhalt, der nicht schädlich ist, nicht als schädlich klassifiziert wird.

Security Copilot Agenten wurden vom Produkt- und Forschungsteam mit Anwendungsfällen und Designeingaben von Kunden bewertet. Die Sicherheit des Agent-Systems wurde auch durch eine spezielle Red Teaming-Übung bewertet. Microsoft hat auch Penetrationstests für den Security Copilot-Dienst durchgeführt, um den Schutz vor nicht autorisiertem Zugriff zu überprüfen.

Nachdem Security Copilot veröffentlicht wurde, ist das Benutzerfeedback von entscheidender Bedeutung, um Microsoft bei der Verbesserung des Systems zu unterstützen. Benutzer haben die Möglichkeit, Feedback zur Agent-Antwort von Security Copilot zu geben. Dieses Feedback geht direkt an Microsoft und wird verwendet, um die Leistung der Plattform durch fortlaufende iterative Verfeinerung zu verbessern. Weitere Informationen finden Sie unter Bereitstellen von Feedback.

Sicherheitskomponenten und Entschärfungen

Da wir potenzielle Risiken und Missbrauch durch Prozesse wie Red Team Testing identifiziert und gemessen haben, entwickelten wir Entschärfungen, um das Schadenspotenzial zu reduzieren. Wir werden weiterhin die Microsoft Security Copilot auswerten, um die Produktleistung und Risikominderungen zu verbessern. In der folgenden Liste werden einige dieser Risikominderungen beschrieben:

• Filtern schädlicher Inhalte und Schutzmaßnahmen: Security Copilot integriert von Microsoft entwickelte Schutzmaßnahmen (Inhaltsfilter) und Missbrauchserkennungsmodelle als Teil der Azure OpenAI Service-Foundation. Diese neuronalen Klassifizierungsmodelle erkennen und filtern schädliche Inhalte über Kategorien hinweg, einschließlich Hass, sexueller Gewalt und Selbstverletzung bei mehreren Schweregraden. Optionale Klassifizierungsmodelle erkennen auch Jailbreakrisiken, bekanntes Text- oder Codematerial und indirekte Einschleusungsangriffe. Diese mehrstufigen Steuerelemente verhindern, dass die KI Antworten erzeugt, die gegen die Sicherheitsstandards von Microsoft verstoßen.
• Wurde entwickelt, um irreversible Aktionen zu minimieren: Von Microsoft entworfene Agent-Szenarien dienen dazu, irreversible Aktionen zu minimieren und Benutzern die Kontrolle über kritische Entscheidungen zu behalten. Für benutzerdefinierte Agents, nicht von Microsoft entworfene Agents, können die Agent-Entwickler das Agent-Verhalten ändern, um sicherzustellen, dass irreversible Aktionen minimiert werden.
• Entwurf des Sicherheitssystems: Microsoft hat ein Sicherheitssystem für Security Copilot entwickelt, das darauf ausgelegt ist, Fehler zu minimieren und Missbrauch zu verhindern, einschließlich Anmerkungen zu schädlichen Inhalten, Betriebsüberwachung und anderen Sicherheitsvorkehrungen. Die Azure Anforderungen an die verantwortungsvolle KI-Entschärfung des OpenAI-Diensts gelten nicht direkt für Security Copilot Kunden, da Security Copilot diese Risikominderungen im Namen des Kunden implementiert.
• Benutzerfeedbackschleife: Nachdem ein Agent eine Antwort zurückgegeben hat, können Benutzer Feedback geben. Abhängig von der Konfiguration können Benutzer auch zusätzliches schriftliches Feedback übermitteln, um Kontext zu ihrer Erfahrung bereitzustellen. Das übermittelte Feedback wird von Microsoft gesammelt und verwendet, um die Produktqualität zu verbessern, Probleme zu identifizieren und Verbesserungen an Security Copilot Erfahrungen zu priorisieren.
• Agent-Identitätsgovernance und rollenbasierte Zugriffssteuerung (Role-Based Access Control, RBAC): Jeder Security Copilot Agent wird entweder unter einer verwalteten Identität oder einem Benutzerkonto ausgeführt, sodass der Administrator die Daten steuern kann, auf die er Zugriff hat. Jeder Agent verfügt über RBAC-Steuerelemente, und die Agents können weiter eingeschränkt werden, welche Daten sie verarbeiten. Durch die Eingrenzung der Berechtigungen jedes Agents verringert das System das Risiko einer nicht autorisierten Offenlegung von Daten und stellt sicher, dass alle automatisierten Aktionen überprüfbar und nachverfolgt werden können.
• Datenverschlüsselung und Zugriffsschutz: Kundendaten, die von Security Copilot verarbeitet werden, werden sowohl bei der Übertragung als auch im Ruhezustand verschlüsselt, wie im Nachtrag zum Datenschutz von Microsoft-Produkten und -Diensten beschrieben. Standardmäßig haben keine menschlichen Benutzer Zugriff auf die Datenbank, und der Netzwerkzugriff ist auf das private Netzwerk beschränkt, in dem die Security Copilot Anwendung bereitgestellt wird. Wenn ein Zugriff auf Personen erforderlich ist (für die Reaktion auf Vorfälle), müssen der erhöhte Zugriff und der Netzwerkzugriff von autorisierten Microsoft-Mitarbeitern genehmigt werden. Weitere Informationen finden Sie unter Compliance.
• Phasenweiser Bereitstellungsansatz: Security Copilot Features über ein Programm für den frühen Zugriff auf Einladungen veröffentlicht, sodass Microsoft Feedback sammeln und Features vor einer breiteren Verfügbarkeit verfeinern kann.

Unser Ansatz zum Zuordnen, Messen und Verwalten von Risiken entwickelt sich weiter, wenn wir mehr erfahren und Verbesserungen auf der Grundlage des Feedbacks von Kunden vornehmen.

Bewährte Methoden für die Bereitstellung und Einführung von Microsoft Security Copilot

Verantwortungsvolle KI ist eine gemeinsame Verpflichtung von Microsoft und seinen Kunden. Während Microsoft KI-Systeme mit Sicherheit, Fairness und Transparenz im Kern erstellt, spielen Kunden eine wichtige Rolle bei der Bereitstellung und Verwendung dieser Technologien in ihren eigenen Kontexten.

Security Copilot Agenten sind darauf ausgelegt, menschliches Fachwissen zu erweitern, nicht zu ersetzen. Kunden sind weiterhin für die Überprüfung von Ausgaben, die Überprüfung von Entscheidungen und die Sicherstellung der Einhaltung der geltenden Gesetze, Vorschriften und Organisationsrichtlinien verantwortlich.

Bereitstellungs- und Endbenutzer sollten:

• Seien Sie vorsichtig, und bewerten Sie die Ergebnisse, wenn Sie Security Copilot für Folgeentscheidungen oder in sensiblen Bereichen verwenden: Folgeentscheidungen können rechtliche oder erhebliche Auswirkungen auf den Zugang einer Person zu Beschäftigung, juristischen Dienstleistungen, Gesundheitsdiensten haben oder zu physischen, psychischen oder finanziellen Schäden führen. Sensible Bereiche wie Finanzdienstleistungen, Gesundheitswesen und Recht erfordern aufgrund der möglichen unverhältnismäßigen Auswirkungen auf verschiedene Personengruppen besondere Sorgfalt. Wenn Sie KI für Entscheidungen in diesen Bereichen verwenden, sollten Kunden sicherstellen, dass betroffene Beteiligte verstehen, wie Entscheidungen getroffen werden, Einspruchsentscheidungen treffen und alle relevanten Eingabedaten aktualisieren können.

• Bewerten von rechtlichen und regulatorischen Überlegungen: Kunden müssen potenzielle spezifische rechtliche und regulatorische Verpflichtungen bei der Verwendung von KI-Diensten und -Lösungen bewerten, die möglicherweise nicht für die Verwendung in allen Branchen oder Szenarios geeignet sind. Darüber hinaus sind KI-Dienste oder -Lösungen nicht für und dürfen nicht in einer Weise verwendet werden, die in den geltenden Nutzungsbedingungen und relevanten Verhaltenskodizes verboten ist.

• Aktivieren und Verwalten relevanter Plug-Ins: Die Qualität und Genauigkeit der Security Copilot Antworten hängen erheblich von den aktivierten Plug-Ins ab. Administratoren sollten sicherstellen, dass geeignete Plug-Ins von Microsoft und Drittanbietern konfiguriert und verwaltet werden, damit Benutzer fundierte, kontextbezogene Antworten erhalten.

Endbenutzer sollten:

• Schreiben von effektiven Eingabeaufforderungen: Das Schreiben eindeutiger, bestimmter Eingabeaufforderungen ist der Schlüssel, um bessere Ergebnisse mit Security Copilot zu erzielen. Schließen Sie relevanten Kontext ein, z. B. Incident-IDs, Ressourcennamen oder Zeitbereiche. Iteration und erneutes Generieren von Eingabeaufforderungen nach Bedarf, Überprüfung und Überprüfung von KI-generierten Antworten. Weitere Informationen finden Sie unter Aufforderungstipps für Security Copilot.

• Beaufsichtigung durch Den Menschen, wenn dies angebracht ist: Die menschliche Aufsicht ist eine wichtige Sicherheit bei der Interaktion mit KI-Systemen. Während wir Security Copilot kontinuierlich verbessern, können KI-Systeme Fehler machen. Die generierte Ausgabe kann aufgrund von Mehrdeutigkeiten bei Eingaben oder Einschränkungen der zugrunde liegenden Modelle ungenau, unvollständig, voreingenommen oder nicht vollständig auf ihre beabsichtigten Ziele ausgerichtet sein. Benutzer sollten die von Security Copilot generierten Antworten überprüfen und überprüfen, ob sie ihren Erwartungen und Anforderungen entsprechen, bevor sie Maßnahmen ergreifen.

• Seien Sie sich des Risikos einer Überzulässigkeit bewusst: Überzulässigkeit bei KI tritt auf, wenn Benutzer falsche oder unvollständige KI-Ausgaben akzeptieren, hauptsächlich weil Fehler in KI-Ausgaben möglicherweise schwer zu erkennen sind. Für Sicherheitsexperten kann eine Überzulässigkeit zu verpassten Bedrohungen, falschen Incident-Schlussfolgerungen oder Richtlinienänderungen führen, die auf fehlerhaften Empfehlungen basieren. Security Copilot enthält ki-Offenlegung und zitiert Quellmaterialien, um dieses Risiko zu minimieren, aber Benutzer sollten dennoch sicherstellen, dass sie die Genauigkeit der Antworten überprüfen. Benutzer können die Agent-Knotenzuordnung überprüfen, die eine allgemeine Ansicht der Schritte bietet, die während des Workflows eines Agents ausgeführt werden.

• Seien Sie vorsichtig, wenn Sie agentische KI in sensiblen Domänen bereitstellen oder entwerfen: Benutzer müssen beim Konfigurieren und Bereitstellen von agentischen KI-Systemen in Domänen, in denen Agent-Aktionen irreversibel oder äußerst folgerichtig sind, eine angemessene menschliche Aufsicht implementieren. Beim Erstellen autonomer agentischer KI sollten zusätzliche Vorsichtsmaßnahmen getroffen werden, wie im Microsoft Enterprise AI Services Code of Conduct beschrieben.

Deployer sollten:

• Sorgfältiges Konfigurieren von RBAC- und Agent-Berechtigungen: Administratoren sind für die Konfiguration rollenbasierter Zugriffssteuerungen für Benutzer und Agents verantwortlich. Berechtigungen sollten dem Prinzip der geringsten Rechte folgen. Agents sollte nur Zugriff auf die Daten und Aktionen gewährt werden, die für ihre bestimmte Aufgabe erforderlich sind.

• Überwachen von Nutzungs- und Überprüfungsaktivitäten: Administratoren (Besitzer) können die Security Copilot nutzungsüberwachung Dashboard verwenden, um Daten auf Sitzungsebene zu überprüfen, z. B. die Nutzung im Zeitverlauf, Sitzungsinitiatoren und Plug-Ins, die während Sitzungen verwendet werden. Diese Sichtbarkeit hilft Organisationen zu verstehen, wie Security Copilot über Eingabeaufforderungen, Promptbooks und Agents hinweg verwendet wird. Weitere Informationen finden Sie unter Verwalten der Nutzung.

• Verwalten von Datenfreigabeeinstellungen: Besitzer können die Einstellungen für die Freigabe von Kundendaten jederzeit konfigurieren und müssen diese Einstellungen in Übereinstimmung mit den Datenschutz- und Complianceanforderungen ihrer organization überprüfen und aktualisieren. Weitere Informationen finden Sie unter Datenschutz und Datensicherheit in Microsoft Security Copilot.

• Informieren Sie Benutzer über Funktionen und Einschränkungen: Eine effektive und verantwortungsvolle Verwendung von Security Copilot erfordert, dass Benutzer verstehen, was das System kann und was nicht. Bereitstellende sollten Schulungen und Anleitungen bereitstellen, um Benutzern bei der effektiven Interaktion mit Security Copilot zu helfen, einschließlich der Wichtigkeit der Überprüfung von KI-generierten Ausgaben, bevor Maßnahmen ergriffen werden.

Weitere Informationen zu Security Copilot Agents

Weitere Informationen zur verantwortungsvollen Verwendung von Microsoft Security Copilot finden Sie in der folgenden Dokumentation:

• Was ist Microsoft Security Copilot?
• Erstellen benutzerdefinierter Agents
• Datenschutz und Datensicherheit in Microsoft Security Copilot

Weitere Informationen zu verantwortungsvoller KI

• Microsoft AI Prinzipien
• Ressourcen für verantwortungsvolle KI von Microsoft
• Microsoft Azure Learning-Kurse zu verantwortungsvoller KI
• KI-Kompetenz