Tarjeta de aplicación: agentes de Microsoft Security Copilot

¿Qué es una tarjeta de aplicación o plataforma?

Las tarjetas de aplicación y plataforma de Microsoft están diseñadas para ayudarle a comprender cómo funciona nuestra tecnología de inteligencia artificial, las opciones que los propietarios de aplicaciones pueden hacer que influya en el rendimiento y el comportamiento de la aplicación, y la importancia de tener en cuenta toda la aplicación, incluida la tecnología, las personas y el entorno. Las tarjetas de aplicación se crean para aplicaciones de inteligencia artificial y las tarjetas de plataforma se crean para los servicios de plataforma de IA. Estos recursos pueden admitir el desarrollo o la implementación de sus propias aplicaciones y pueden compartirse con usuarios o partes interesadas afectados por ellas.

Como parte de su compromiso con la inteligencia artificial responsable, Microsoft se adhiere a seis principios básicos: equidad, confiabilidad y seguridad, privacidad y seguridad, inclusión, transparencia y responsabilidad. Estos principios se insertan en la Standard de inteligencia artificial responsable, que guía a los equipos en el diseño, la compilación y la prueba de aplicaciones de inteligencia artificial. Las tarjetas de aplicación y plataforma desempeñan un papel clave en la puesta en marcha de estos principios al ofrecer transparencia sobre las funcionalidades, los usos previstos y las limitaciones. Para obtener más información, se anima a los lectores a explorar el Informe de transparencia de inteligencia artificial responsable de Microsoft y el Código de conducta de microsoft Enterprise AI Services, que describe cómo interactuar con la inteligencia artificial de forma responsable.

Información general

Microsoft Security Copilot es una solución de seguridad generativa con tecnología de inteligencia artificial que ayuda a aumentar la eficacia y las capacidades de los defensores para mejorar los resultados de seguridad a velocidad y escala de la máquina. Security Copilot proporciona una experiencia de copiloto de asistencia y lenguaje natural que ayuda a los profesionales de seguridad y a los administradores de TI a controlar una amplia gama de escenarios de un extremo a otro, incluida la respuesta a incidentes, la búsqueda de amenazas, la recopilación de inteligencia y la administración de posturas.

Security Copilot está diseñado teniendo en cuenta la integración y ofrece una experiencia independiente inmersiva en https://securitycopilot.microsoft.com. La plataforma se integra perfectamente con los productos de la cartera de seguridad de Microsoft, como Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra y Microsoft Purview y servicios de terceros compatibles.

Un agente de Security Copilot genera salidas y puede realizar acciones basadas en la lógica configurada, los permisos y los desencadenadores definidos por el cliente. Los clientes pueden usar agentes de Security Copilot autónomos para automatizar los flujos de trabajo de seguridad, acelerar los tiempos de respuesta, priorizar los riesgos y reducir las cargas de trabajo manuales, al tiempo que conservan el control total. La autonomía del agente hace referencia a la capacidad de un agente para realizar acciones de forma independiente dentro de los límites definidos.

Un administrador (Security Copilot propietario) detecta e implementa agentes a través del portal de Security Copilot y el Almacén de seguridad, con algunos agentes que también aparecen en las experiencias de productos de seguridad de Microsoft insertados. El administrador establece la identidad del agente y configura el control de acceso basado en rol (RBAC) para el agente.

Los usuarios previstos incluyen analistas de SOC, administradores de TI, administradores de seguridad de datos e identidades, analistas de cumplimiento y líderes de seguridad, como los jefes de seguridad de la información (CISO).

Security Copilot posee la certificación ISO 42001, que confirma que un tercero independiente revisó la aplicación de Microsoft del marco y las capacidades necesarios para administrar eficazmente los riesgos y oportunidades asociados con el desarrollo, la implementación y el funcionamiento continuos de Microsoft AI sistemas.

Para obtener más información, consulte ¿Qué es Microsoft Security Copilot?, experiencias de Microsoft Security Copilot y Tarjeta de aplicación para Security Copilot.

Términos clave

En la tabla siguiente se proporciona un glosario de términos clave relacionados con los agentes de Microsoft Security Copilot.

Características o funcionalidades clave

Las características y funcionalidades clave de la tabla siguiente describen qué Microsoft Security Copilot está diseñado para hacer y cómo se realiza en las tareas admitidas.

Security Copilot es una solución de seguridad con tecnología de inteligencia artificial que funciona de forma asistida y como un sistema de agente autónomo. Para comprender la autonomía del agente, considere lo siguiente:

• Desencadenadores de activación : qué condiciones o acciones de usuario hacen que se ejecute el agente
• Permisos de acceso : qué datos, sistemas o recursos puede usar el agente
• Derechos de acción : qué acciones el agente está autorizado a realizar por sí mismo

En las secciones siguientes se describen las principales funcionalidades de agente que sustentan cómo los agentes razonan, planean, recuerdan, adaptan y amplían su alcance.

Razonamiento

Security Copilot agentes usan el modelo de lenguaje grande subyacente para analizar el contexto disponible, evaluar las señales y determinar el curso de acción más adecuado. Por ejemplo, el agente de evaluación de suplantación de identidad evalúa el contenido del correo electrónico, la reputación del remitente y las señales de comportamiento para generar un veredicto de clasificación con una lógica de lenguaje natural. Los agentes exponen su razonamiento de forma transparente para que los analistas puedan revisar, validar o invalidar las conclusiones antes de actuar sobre ellas.

Planificación

Los agentes funcionan con desencadenadores definidos que indican al sistema agenteico que inicie una secuencia estructurada de acciones hacia un objetivo. Los agentes se pueden configurar para:

• Se ejecuta automáticamente según una programación (por ejemplo, el agente de información de inteligencia sobre amenazas se ejecuta cada siete días).
• Ejecute manualmente a petición cuando sea necesario.

Este diseño proporciona a los agentes un modelo de ejecución dirigido a objetivos en el que el sistema analiza cuándo y cómo actuar para completar su tarea.

Memoria

Security Copilot agentes pueden conservar información a lo largo del tiempo, lo que se conoce como memoria. La memoria permite a un agente incorporar entradas pasadas al comportamiento futuro, en función de cómo se diseñe y configure el agente.

La memoria puede incluir comentarios proporcionados por los usuarios. Los agentes pueden usar estos comentarios para ajustar sus respuestas o acciones en interacciones posteriores.

Adaptabilidad

Security Copilot agentes están diseñados para adaptarse en función de los comentarios del usuario y el contexto operativo, al tiempo que continúan funcionando dentro del ámbito definido por su identidad configurada, los permisos y los desencadenadores.

• Bucle de comentarios: Security Copilot propietarios y colaboradores pueden proporcionar comentarios sobre las respuestas de un agente. Estos comentarios se almacenan en la memoria del agente y pueden influir en las salidas futuras, en función del diseño y la configuración del agente.
• Puesta a tierra contextual: durante el procesamiento de mensajes, Security Copilot enriquece las solicitudes mediante la puesta a tierra. Este proceso incorpora datos de la organización pertinentes, complementos habilitados e inteligencia sobre amenazas para que las respuestas reflejen el contexto actual.
• Identidad y permisos configurables: los agentes se pueden actualizar después de la instalación para modificar la identidad, los desencadenadores y los parámetros. Esto permite a los agentes alinearse con los flujos de trabajo y los requisitos en constante evolución.

Extensibilidad

• Complementos: los agentes usan complementos para llegar a servicios externos a través de las API, incluidas las búsquedas de reputación, la inteligencia sobre amenazas y los datos de punto de conexión. Se admiten los complementos creados por Microsoft y los asociados. Para obtener más información, consulte Introducción a los complementos.
• Conectores: Logic Apps y los conectores de Copilot Studio encapsulan la API de Security Copilot, lo que permite a los desarrolladores y usuarios llamar a la plataforma desde flujos de trabajo de automatización externos. Para obtener más información, consulte Introducción a los conectores.
• Agentes personalizados: los desarrolladores pueden crear agentes personalizados adaptados a casos de uso específicos y agregarlos al ecosistema de Security Copilot a través de la plataforma para desarrolladores. Para obtener más información, consulte Desarrollo de agentes personalizados.
• Almacén de seguridad: los agentes precompilados de Microsoft y asociados se pueden detectar e implementar desde la biblioteca de agentes integrada y el Almacén de seguridad.
• Experiencias insertadas: los agentes no solo funcionan en Security Copilot portal independiente, sino que también se insertan en el ecosistema de seguridad de Microsoft más amplio, incluidos Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra y Microsoft Purview.

Usos previstos

Microsoft Security Copilot agentes están diseñados para que los profesionales de seguridad y los administradores de TI admitan flujos de trabajo de seguridad, como la recopilación y correlación de inteligencia. Los agentes pueden funcionar con permisos definidos por el administrador y ayudar a simplificar las tareas que, de lo contrario, podrían requerir un esfuerzo manual significativo, a la vez que mantienen el control de los seres humanos. Algunos ejemplos de casos de uso de agentes previstos incluyen:

• Información sobre inteligencia sobre amenazas: el agente de información sobre inteligencia sobre amenazas genera informes de inteligencia sobre amenazas detallados y oportunos mediante la correlación de Inteligencia contra amenazas de Microsoft Defender datos, señales de Administración de superficie expuesta a ataques externos de Defender (EASM) y contexto de cliente en tiempo real. Los analistas de seguridad pueden usar este agente para reemplazar horas o días de recopilación de inteligencia manual y correlación con un informe generado en minutos.

• Análisis de datos de seguridad (Microsoft Defender XDR): el agente de analistas de seguridad ayuda a los analistas de seguridad a identificar, evaluar y priorizar rápidamente los riesgos en grandes volúmenes de datos de seguridad. El agente realiza tareas de análisis básicas, como análisis de patrones, análisis de tendencias y visualización, y tareas avanzadas como la detección de anomalías, la agrupación en clústeres, la puntuación de riesgos y el modelado predictivo. Integra datos de Microsoft Defender XDR, Microsoft Sentinel Log Analytics, Microsoft Sentinel Data Lake y archivos CSV cargados, generando información prioritaria con un seguimiento de pruebas completo en una experiencia de chat interactiva y sin código.

• Operaciones de seguridad y respuesta a incidentes (Microsoft Defender XDR)::

  • El agente de evaluación de suplantación de identidad (Phishing Triage Agent ) evalúa los correos electrónicos de suplantación de identidad notificados por el usuario a medida que se envían, clasifica los veredictos con un razonamiento transparente e incorpora comentarios de analistas a lo largo del tiempo.
  • El Agente de detección dinámica de amenazas se ejecuta continuamente en segundo plano para descubrir amenazas ocultas y brechas en los entornos de Defender y Microsoft Sentinel mediante la correlación de alertas, eventos, anomalías e inteligencia sobre amenazas.

• Búsqueda de amenazas (Microsoft Defender XDR):El agente de búsqueda de amenazas permite la búsqueda de amenazas de un extremo a otro mediante el lenguaje natural. Genera consultas KQL, interpreta los resultados, expone información y guía a los analistas a través de sesiones de búsqueda completas para encontrar amenazas más rápido y con mayor confianza.

• Administración de identidades y acceso (Microsoft Entra)::

  • El Agente de optimización de acceso condicional analiza las directivas de acceso condicional y recomienda mejoras basadas en los procedimientos recomendados de Microsoft y los principios de Confianza cero.
  • Identity Risk Management Agent ayuda a los administradores de identidades a investigar posibles riesgos y a tomar medidas para proteger los recursos críticos.

• Administración de puntos de conexión (Microsoft Intune)::

  • El Agente de corrección de vulnerabilidades usa datos de Defender para supervisar vulnerabilidades y priorizar la corrección con evaluaciones de riesgos controladas por inteligencia artificial.
  • El Agente de configuración de directivas permite a los administradores importar documentos o escribir instrucciones en lenguaje sin formato para buscar la configuración coincidente en el catálogo de configuración de Intune y crear directivas.
  • El Agente de revisión de cambios evalúa el efecto de las solicitudes de aprobación en Intune y realiza recomendaciones para las acciones que pueden realizar los administradores.

• Investigación de seguridad de datos (Microsoft Purview):

  • El agente de evaluación de riesgos de Insider evalúa las alertas en función del riesgo de usuario, archivo y actividad, ordenándolas automáticamente en categorías prioritarias para ayudar a los equipos de seguridad a centrarse en los casos de mayor riesgo.
  • El agente de evaluación de pérdida de datos de Purview Triage Agent in Data Loss Prevention evalúa las alertas DLP en función del riesgo de confidencialidad, el riesgo de filtración y el riesgo de directiva, lo que ayuda a los administradores de seguridad de datos a actuar sobre los incidentes más críticos.

• Flujos de trabajo de agente personalizados: los desarrolladores pueden crear e implementar agentes personalizados mediante el procesamiento de lenguaje natural, cargar el manifiesto del agente o usar las herramientas de MCP adaptadas a los casos de uso de seguridad específicos de su organización, ampliando las capacidades del agente a través de complementos y conectores a los servicios de Microsoft y que no son de Microsoft. Para obtener más información, vea Agentes personalizados.

  También puede crear un agente de chat interactivo cuando los agentes y los usuarios necesiten colaborar para obtener una experiencia guiada para resolver algo. Para obtener más información, consulte Agente interactivo.

Modelos y datos de entrenamiento

Microsoft Security Copilot usa Azure modelos de lenguaje grande (LLM) de OpenAI de modelos de fundición vendidos por Azure para potenciar las experiencias de lenguaje natural. Estos modelos no se entrenan en Security Copilot datos de cliente. Las funcionalidades del modelo varían en el razonamiento, la velocidad, las limitaciones y los escenarios admitidos.

Security Copilot también incorpora conocimientos y contexto específicos de la seguridad a través de complementos y puesta a tierra, que proporcionan al LLM datos de la organización pertinentes, inteligencia sobre amenazas y contenido autoritativo en tiempo de inferencia en lugar de a través del entrenamiento del modelo.

Rendimiento

Security Copilot está diseñado para funcionar en entornos de seguridad empresariales en los que se generan grandes volúmenes de señales de seguridad en tiempo real en los productos de seguridad de Microsoft y otros orígenes de datos configurados por la organización. Integra señales de estos orígenes, combinando el procesamiento en tiempo real de los datos de registro estructurados con el razonamiento de investigación. Esto está diseñado para ayudar a detectar, analizar y realizar un seguimiento del origen y el impacto de los incidentes de seguridad en varios orígenes de datos.

Security Copilot se ejecuta en la infraestructura de hiperescala de Microsoft y en una capa de orquestación específica de la seguridad, que están diseñadas para admitir un rendimiento escalable y resistente en escenarios repetidos de detección e investigación de amenazas.

Los agentes amplían la capacidad de Security Copilot de actuar sobre señales de seguridad mediante la ejecución de tareas de seguridad definidas a través de permisos configurados por el administrador. Los agentes razonan sobre las señales disponibles, planean y ejecutan acciones estructuradas, y generan salidas como decisiones de evaluación de prioridades, informes de inteligencia e instrucciones de corrección basadas en datos de inteligencia sobre amenazas y organización en tiempo real. La ejecución del agente es transparente a través de mapas de nodos paso a paso, lo que permite a los analistas revisar los pasos generados (no un resumen detallado de las acciones específicas realizadas en cada nodo) y validar los resultados entre ejecuciones.

La confiabilidad del rendimiento se admite aún más a través de agentes preconfigurados creados por Microsoft, que se prueban con flujos de trabajo representativos y agentes personalizados, donde un archivo YAML de manifiesto puede ayudar a promover un comportamiento más coherente mediante la especificación de funcionalidades, herramientas, desencadenadores y límites operativos. Cuando las instrucciones de manifiesto están claramente definidas, es posible que el agente pueda interpretar mejor su tarea, seleccionar las acciones adecuadas y operar dentro de su ámbito previsto. Para obtener más información, vea Agentes personalizados.

En el caso de los agentes interactivos, el rendimiento se configura principalmente mediante el intercambio iterativo entre el agente y el usuario. El agente genera una respuesta inicial y el usuario refina el contexto a través de mensajes de seguimiento en función de lo que el agente muestre. Esta interacción de ida y vuelta permite al usuario guiar incrementalmente al agente hacia resultados más precisos y dirigidos de lo que produciría una sola ejecución autónoma. Para obtener más información, consulte Agentes interactivos.

Limitaciones

Comprender las limitaciones de Security Copilot es importante para asegurarse de que se usa dentro de límites seguros y eficaces. Aunque se recomienda a los clientes que usen Security Copilot en sus flujos de trabajo de seguridad, es importante tener en cuenta que Security Copilot no se diseñó para todos los escenarios posibles. Consulte el Código de conducta de Microsoft Enterprise AI Services , así como las siguientes consideraciones al elegir un caso de uso:

• Estado de la versión preliminar pública: algunos agentes están en versión preliminar pública y pueden modificarse sustancialmente antes de la disponibilidad general. Microsoft no ofrece ninguna garantía, expresa o implícita, con respecto a estas funcionalidades. Al igual que con cualquier salida de IA, los clientes deben revisar la toma de decisiones del agente antes de actuar sobre sus salidas.
• Precisión e integridad: al igual que cualquier tecnología con tecnología de inteligencia artificial, Security Copilot no lo hace todo bien. Las respuestas pueden ser inexactas, incompletas o obsoletas, especialmente si los complementos pertinentes no están habilitados o si los datos más actuales no están disponibles a través de la entrada del usuario o el contexto organizativo. Los usuarios siempre deben ejercer juicio humano y comprobar los resultados críticos en lugar de basarse únicamente en la respuesta generada por IA.
• Ámbito específico del dominio: Security Copilot está diseñado para responder a mensajes relacionados con el dominio de seguridad, como la investigación de incidentes y la inteligencia sobre amenazas. Consultas fuera del ámbito de la seguridad puede dar lugar a respuestas que carecen de precisión e integridad.
• Generación de scripts y código: Security Copilot puede generar código o incluir código en las respuestas. Las respuestas pueden parecer válidas, pero es posible que no sean semánticamente o sintácticamente correctas, o que no reflejen con precisión la intención del solicitante. El código generado no debe implementarse en entornos de producción sin los procedimientos adecuados de validación, prueba y revisión. Los usuarios también deben comprobar que los parámetros utilizados por el código generado se alinean con la solicitud original. Por ejemplo, si un agente funciona en alertas dentro de un intervalo de tiempo específico, confirme que el intervalo de tiempo del código generado coincide con el intervalo de tiempo especificado en el símbolo del sistema de lenguaje natural.
• Restricciones de longitud de aviso: es posible que el sistema no pueda procesar solicitudes largas, como las que contienen cientos de miles de caracteres. El LLM subyacente tiene un límite de token y las consultas excesivamente detalladas o las sesiones extendidas pueden desbordar el espacio del token. Cuando se produce este escenario, Security Copilot intenta aplicar mitigaciones para asegurarse de que una salida siempre está disponible, incluso si el contenido no es óptimo; sin embargo, esas mitigaciones no siempre son eficaces y podría ser necesario probar un símbolo del sistema o complemento diferente.
• Límites de uso y latencia: el uso de la plataforma puede estar sujeto a límites de uso o limitación de capacidad. La generación de respuestas, incluida la realización de llamadas API a través de complementos y la comprobación de respuestas antes de mostrarlas, puede tardar tiempo y requerir una alta capacidad de GPU. Las organizaciones deben supervisar su consumo de SCU y ajustar la capacidad aprovisionada según sea necesario para evitar interrupciones inesperadas del servicio.
• Sesgo, estereotipado y contenido sin conexión: a pesar de la implementación de controles de inteligencia artificial responsables en las solicitudes de usuario y las salidas de LLM, los servicios de inteligencia artificial son falibles y probabilísticos. Esto hace que sea difícil bloquear de forma completa todo el contenido inadecuado, lo que puede dar lugar a posibles sesgos, estereotipos o contenido sin conexión en la salida generada por IA.
• Administración pública y nube pública y privada soberana de Microsoft: Security Copilot no se admite en estos entornos en este momento.
• Límites de agente específicos de la tarea: los agentes solo son adecuados para la tarea específica que están diseñados para realizar. Para obtener más información, consulte la sección casos de uso previstos . No son adecuadas para ninguna otra tarea y no deben reasignarse más allá de su ámbito definido.
• Detalles del mapa de nodo: el mapa de nodo del agente proporciona una vista de alto nivel de los pasos realizados durante un flujo de trabajo de agente. Cada nodo representa un paso en el proceso y muestra el título de la aptitud usada, junto con metadatos básicos, como el estado de finalización, la duración y la marca de tiempo. El mapa de nodos está diseñado para mostrar la secuencia de acciones, pero no proporciona información detallada sobre las operaciones o decisiones específicas tomadas en cada paso. Dado que el mapa de nodo solo presenta información resumida, es posible que no capture por completo el contexto o la complejidad de cada acción.
• Comentarios del agente y transparencia de la memoria: cuando los usuarios envían comentarios a un agente para su almacenamiento en memoria, el agente no proporciona un resumen de su interpretación de los comentarios. Para aumentar la precisión de las salidas futuras, los usuarios deben proporcionar comentarios claros, concisos y específicos. Los comentarios enviados a un agente pueden almacenarse y usarse para influir en las salidas futuras. Sin embargo, la visibilidad de estos comentarios almacenados puede variar en función de la experiencia del agente y del rol de usuario. Para obtener más información, vea Proporcionar comentarios.

Evaluaciones

Las evaluaciones de rendimiento y seguridad evalúan si las aplicaciones de inteligencia artificial funcionan de forma confiable y segura mediante el examen de factores como la base, la relevancia y la coherencia, a la vez que se identifican los riesgos de generar contenido dañino. Las siguientes evaluaciones se llevaron a cabo con componentes de seguridad ya implementados, que también se describen en Componentes de seguridad y Mitigaciones.

Datos de evaluación de calidad y seguridad

Nuestros datos de evaluación están personalizados para evaluar el rendimiento de las aplicaciones de inteligencia artificial en áreas clave de seguridad y calidad, simulando escenarios y riesgos reales. Comenzamos por identificar los aspectos de evaluación pertinentes que preocupan en función de la investigación multidisciplinar y las aportaciones de expertos. Estas preocupaciones se traducen en objetivos de evaluación dirigidos y orientan la formulación de métricas de evaluación.

Por motivos de seguridad, creamos avisos adversarios para obtener respuestas no deseadas o de casos perimetrales, que luego se puntúan mediante anotadores asistidos por IA entrenados para evaluar la alineación con los estándares de seguridad de Microsoft. Por calidad, creamos avisos basados en rúbricas relevantes para escenarios como la evaluación de aplicaciones y agentes de generación aumentada por recuperación (RAG).

Los conjuntos de datos se conservan de diversos orígenes, incluidos conjuntos de datos sintéticos y públicos, para simular escenarios de usuario reales. Con los conjuntos de datos seleccionados, ambas evaluaciones se someten a refinamiento iterativo y alineación humana para mejorar la eficacia y confiabilidad de las métricas. Esta metodología constituye la base de evaluaciones repetibles y rigurosas que reflejan cómo los clientes usan las evaluaciones para crear una inteligencia artificial mejor y más segura.

Evaluaciones personalizadas

Se realizaron evaluaciones personalizadas para validar el rendimiento del modelo en escenarios de puesta a tierra, solidez adversaria y contenido dañino mediante pruebas de regresión, conjuntos de datos de aviso seleccionados y ejemplos alineados con la producción. La evaluación comparó los resultados entre los modelos GPT, usando herramientas internas para evaluar la base y Azure filtrado de contenido de OpenAI para validar las protecciones contra el jailbreak, la inyección rápida y las infracciones de propiedad intelectual. Los resultados muestran un rendimiento coherente o mejorado, incluidas tasas de protección sólidas en escenarios adversarios y una mayor precisión de puesta a tierra.

El control de contenido dañino sigue siendo coherente en todos los modelos y funciona en modo de anotación para admitir casos de uso centrados en la seguridad, con pruebas adicionales a gran escala que confirman altas tasas de protección entre categorías. Las pruebas de regresión se realizan para comprobar que el contenido, que no es dañino, no se clasifica como dañino.

Security Copilot agentes fueron evaluados por su equipo de producto e investigación con casos de uso y entradas de diseño de los clientes. La seguridad del sistema de agente también se evaluó mediante un ejercicio de formación de equipos rojo dedicado. Microsoft también completó las pruebas de penetración en el servicio Security Copilot para validar la protección contra el acceso no autorizado.

Ahora que se publica Security Copilot, los comentarios de los usuarios son fundamentales para ayudar a Microsoft a mejorar el sistema. Los usuarios tienen la opción de proporcionar comentarios sobre la respuesta del agente de Security Copilot. Estos comentarios van directamente a Microsoft y se usan para mejorar el rendimiento de la plataforma mediante el refinamiento iterativo continuo. Para obtener más información, vea Proporcionar comentarios.

Componentes de seguridad y mitigaciones

A medida que identificamos los posibles riesgos y el uso indebido a través de procesos como las pruebas de equipo rojo y los medimos, desarrollamos mitigaciones para reducir el potencial de daños. Seguiremos evaluando la experiencia de Microsoft Security Copilot para mejorar el rendimiento y las mitigaciones del producto. En la lista siguiente se describen algunas de esas mitigaciones:

• Filtrado de contenido dañino y barreras de protección: Security Copilot integra barreras de protección desarrolladas por Microsoft (filtros de contenido) y modelos de detección de abusos como parte de la base Azure OpenAI Service. Estos modelos de clasificación neuronal detectan y filtran contenido dañino entre categorías, incluidos el odio, el sexo, la violencia y el autolesión en varios niveles de gravedad. Los modelos de clasificación opcionales también detectan riesgos de jailbreak, texto conocido o material de código y ataques de inyección de mensajes indirectos. Estos controles por capas ayudan a evitar que la inteligencia artificial genere respuestas que infrinjan los estándares de seguridad de Microsoft.
• Diseñado para minimizar las acciones irreversibles: los escenarios de agentes diseñados por Microsoft están diseñados para minimizar las acciones irreversibles y mantener a los usuarios en control de las decisiones críticas. En el caso de los agentes personalizados, los agentes no diseñados por Microsoft pueden modificar el comportamiento del agente para asegurarse de que se minimizan las acciones irreversibles.
• Diseño del sistema de seguridad: Microsoft desarrolló un sistema de seguridad para Security Copilot que está diseñado para mitigar errores y evitar el uso indebido, incluida la anotación de contenido perjudicial, la supervisión operativa y otras medidas de seguridad. Los requisitos de mitigación de IA responsable del servicio OpenAI de Azure no se aplican a Security Copilot clientes directamente porque Security Copilot implementa estas mitigaciones en nombre del cliente.
• Bucle de comentarios del usuario: después de que un agente devuelve una respuesta, los usuarios pueden proporcionar comentarios. En función de la configuración, los usuarios también pueden enviar comentarios por escrito adicionales para proporcionar contexto sobre su experiencia. Microsoft recopila y usa los comentarios enviados para mejorar la calidad del producto, identificar problemas y priorizar las mejoras para Security Copilot experiencias.
• Gobernanza de identidades de agente y control de acceso basado en rol (RBAC): cada agente Security Copilot se ejecuta en una identidad administrada o en una cuenta de usuario, lo que permite al administrador controlar los datos a los que tiene acceso. Cada agente tiene controles de RBAC y los agentes pueden restringirse aún más en cuanto a los datos que procesan. Al definir los permisos de cada agente, el sistema mitiga los riesgos de exposición de datos no autorizados y garantiza que todas las acciones automatizadas sean auditables y rastreables.
• Cifrado de datos y protección de acceso: los datos del cliente controlados por Security Copilot se cifran tanto en tránsito como en reposo, como se describe en el Anexo de protección de datos de productos y servicios de Microsoft. De forma predeterminada, ningún usuario humano tiene acceso a la base de datos y el acceso a la red está restringido a la red privada donde se implementa la aplicación Security Copilot; si se necesita acceso humano (para la respuesta a incidentes), los empleados autorizados de Microsoft deben aprobar el acceso elevado y el acceso a la red. Consulte Cumplimiento.
• Enfoque de implementación por fases: Security Copilot libera características a través de un programa de acceso anticipado de solo invitación, lo que permite a Microsoft recopilar comentarios y refinar las características antes de una disponibilidad más amplia.

Nuestro enfoque de asignación, medición y administración de riesgos continúa evolucionando a medida que aprendemos más y hacemos mejoras en función de los comentarios recibidos de los clientes.

Procedimientos recomendados para implementar y adoptar Microsoft Security Copilot

La inteligencia artificial responsable es un compromiso compartido entre Microsoft y sus clientes. Aunque Microsoft crea sistemas de inteligencia artificial con seguridad, equidad y transparencia en el núcleo, los clientes desempeñan un papel fundamental en la implementación y el uso de estas tecnologías de forma responsable dentro de sus propios contextos.

Security Copilot agentes están diseñados para aumentar la experiencia humana, no para reemplazar. Los clientes siguen siendo responsables de revisar los resultados, validar las decisiones y garantizar el cumplimiento de las leyes, regulaciones y directivas de la organización aplicables.

Los implementadores y los usuarios finales deben:

• Tenga cuidado y evalúe los resultados al usar Security Copilot para decisiones consecuentes o en dominios confidenciales: las decisiones consecuentes son aquellas que pueden tener un impacto legal o significativo en el acceso de una persona al empleo, los servicios legales, la atención sanitaria o que podrían dar lugar a daños físicos, psicológicos o financieros. Los dominios confidenciales, como los servicios financieros, la atención sanitaria y los servicios jurídicos, requieren atención especial debido a la posibilidad de un impacto desproporcionado en diferentes grupos de personas. Al usar la inteligencia artificial para tomar decisiones en estas áreas, los clientes deben asegurarse de que las partes interesadas afectadas puedan comprender cómo se toman las decisiones, apelar decisiones y actualizar los datos de entrada pertinentes.

• Evaluar consideraciones legales y reglamentarias: los clientes deben evaluar posibles obligaciones legales y reglamentarias específicas al usar cualquier servicio de inteligencia artificial y soluciones, que pueden no ser adecuados para su uso en todos los sectores o escenarios. Además, los servicios o soluciones de IA no están diseñados para y no se pueden usar de maneras prohibidas en términos de servicio aplicables y códigos de conducta pertinentes.

• Habilitar y mantener complementos pertinentes: la calidad y precisión de las respuestas Security Copilot dependen significativamente de los complementos que están habilitados. Los administradores deben asegurarse de que los complementos adecuados de Microsoft y de terceros se configuran y mantienen para que los usuarios reciban respuestas basadas y pertinentes contextualmente.

Los usuarios finales deben:

• Escribir mensajes efectivos: escribir mensajes claros y específicos es clave para obtener mejores resultados con Security Copilot. Incluya contexto relevante, como identificadores de incidentes, nombres de recursos o intervalos de tiempo. Itere y regenere los mensajes según sea necesario, y revise y compruebe siempre las respuestas generadas por IA. Para obtener más información, consulte Sugerencias de solicitud de Security Copilot.

• Ejercicio de la supervisión humana cuando corresponda: la supervisión humana es una medida de seguridad importante al interactuar con los sistemas de inteligencia artificial. Aunque mejoramos continuamente Security Copilot, los sistemas de inteligencia artificial pueden cometer errores. La salida generada puede ser inexacta, incompleta, parcial o no totalmente alineada con los objetivos previstos debido a la ambigüedad en las entradas o limitaciones de los modelos subyacentes. Los usuarios deben revisar las respuestas generadas por Security Copilot y comprobar que coinciden con sus expectativas y requisitos antes de tomar medidas.

• Tenga en cuenta el riesgo de dependencia excesiva: la dependencia excesiva de la inteligencia artificial se produce cuando los usuarios aceptan salidas de IA incorrectas o incompletas, principalmente porque los errores en las salidas de IA pueden ser difíciles de detectar. Para los profesionales de seguridad, la dependencia excesiva podría dar lugar a amenazas perdidas, conclusiones incorrectas de incidentes o cambios de directiva basados en recomendaciones erróneas. Security Copilot incluye divulgación de inteligencia artificial y cita materiales de origen para ayudar a mitigar este riesgo, pero los usuarios deben asegurarse de comprobar la precisión de las respuestas. Los usuarios pueden revisar el mapa del nodo del agente que proporciona una vista de alto nivel de los pasos realizados durante el flujo de trabajo de un agente.

• Tenga cuidado al implementar o diseñar la inteligencia artificial agentic en dominios confidenciales: los usuarios deben implementar la supervisión humana adecuada al configurar e implementar sistemas de inteligencia artificial de agente en dominios donde las acciones del agente son irreversibles o altamente consecuentes. Se deben tomar precauciones adicionales al crear una inteligencia artificial agente autónoma, tal como se describe en el Código de conducta de Microsoft Enterprise AI Services.

Los implementadores deben:

• Configure los permisos de RBAC y agente cuidadosamente: los administradores son responsables de configurar los controles de acceso basados en rol para los usuarios y los agentes. Los permisos deben seguir el principio de privilegios mínimos. Solo se debe conceder a los agentes acceso a los datos y acciones necesarios para su tarea designada.

• Supervisar la actividad de uso y revisión: los administradores (propietarios) pueden usar el panel de supervisión de uso de Security Copilot para revisar los datos de nivel de sesión, como el uso a lo largo del tiempo, los iniciadores de sesión y los complementos usados durante las sesiones. Esta visibilidad ayuda a las organizaciones a comprender cómo se usa Security Copilot en los mensajes, los cuadernos de mensajes y los agentes. Para obtener más información, vea Administrar el uso.

• Administrar la configuración de uso compartido de datos: los propietarios pueden configurar las preferencias de uso compartido de datos del cliente en cualquier momento y deben revisar y actualizar esta configuración de acuerdo con los requisitos de privacidad y cumplimiento de su organización. Para obtener más información, consulte Privacidad y seguridad de datos en Microsoft Security Copilot.

• Instruya a los usuarios sobre las funcionalidades y limitaciones: el uso eficaz y responsable de Security Copilot requiere que los usuarios comprendan lo que el sistema puede y no puede hacer. Los implementadores deben proporcionar formación e instrucciones para ayudar a los usuarios a interactuar con Security Copilot de forma eficaz, incluida la importancia de comprobar las salidas generadas por IA antes de tomar medidas.

Más información sobre los agentes de Security Copilot

Para obtener más información sobre el uso responsable de Microsoft Security Copilot, consulte la siguiente documentación:

• ¿Qué es Seguridad de Microsoft Copilot?
• Creación de agentes personalizados
• Privacidad y seguridad de los datos en Seguridad de Microsoft Copilot

Más información sobre la inteligencia artificial responsable

• principios de Microsoft AI
• Recursos de inteligencia artificial responsable de Microsoft
• Cursos de Microsoft Azure Learning sobre inteligencia artificial responsable
• Alfabetización de IA