Tarjeta de aplicación: Microsoft Security Copilot

¿Qué es una tarjeta de aplicación o plataforma?

Las tarjetas de aplicación y plataforma de Microsoft están diseñadas para ayudarle a comprender cómo funciona nuestra tecnología de inteligencia artificial, las opciones que los propietarios de aplicaciones pueden hacer que influya en el rendimiento y el comportamiento de la aplicación, y la importancia de tener en cuenta toda la aplicación, incluida la tecnología, las personas y el entorno. Las tarjetas de aplicación se crean para aplicaciones de inteligencia artificial y las tarjetas de plataforma se crean para los servicios de plataforma de IA. Estos recursos pueden admitir el desarrollo o la implementación de sus propias aplicaciones y pueden compartirse con usuarios o partes interesadas afectados por ellas.

Como parte de su compromiso con la inteligencia artificial responsable, Microsoft se adhiere a seis principios básicos: equidad, confiabilidad y seguridad, privacidad y seguridad, inclusión, transparencia y responsabilidad. Estos principios se insertan en la Standard de inteligencia artificial responsable, que guía a los equipos en el diseño, la compilación y la prueba de aplicaciones de inteligencia artificial. Las tarjetas de aplicación y plataforma desempeñan un papel clave en la puesta en marcha de estos principios al ofrecer transparencia sobre las funcionalidades, los usos previstos y las limitaciones. Para obtener más información, se anima a los lectores a explorar el Informe de transparencia de inteligencia artificial responsable de Microsoft y el Código de conducta de microsoft Enterprise AI Services, que describe cómo interactuar con la inteligencia artificial de forma responsable.

Información general

Microsoft Security Copilot es una solución de seguridad generativa con tecnología de inteligencia artificial que ayuda a aumentar la eficacia y las capacidades de los defensores para mejorar los resultados de seguridad a velocidad y escala de la máquina. Proporciona una experiencia de copiloto de asistencia y lenguaje natural que ayuda a los profesionales de seguridad y a los administradores de TI a controlar una amplia gama de escenarios de un extremo a otro, incluida la respuesta a incidentes, la búsqueda de amenazas, la recopilación de inteligencia y la administración de posturas.

Security Copilot está diseñado teniendo en cuenta la integración. Ofrece una experiencia independiente inmersiva en https://securitycopilot.microsoft.com los productos de seguridad de Microsoft, incluidos Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra y Microsoft Purview, así como servicios de terceros compatibles.

Los usuarios previstos incluyen analistas de SOC, administradores de TI, administradores de seguridad de datos e identidades, analistas de cumplimiento y líderes de seguridad, como los jefes de seguridad de la información (CISO).

Security Copilot ha obtenido la certificación ISO 42001 que confirma que un tercero independiente ha revisado la aplicación de Microsoft del marco y las capacidades necesarios para administrar eficazmente los riesgos y oportunidades asociados con el desarrollo, la implementación y el funcionamiento continuos de Microsoft AI sistemas.

Para obtener más información, consulte ¿Qué es Microsoft Security Copilot?, experiencias de Microsoft Security Copilot y Tarjeta de aplicación para agentes de Security Copilot.

Términos clave

En la tabla siguiente se proporciona un glosario de términos clave relacionados con Microsoft Security Copilot.

Término Definición
Agente Un agente de Security Copilot procesa señales desde el entorno del cliente a través de orígenes de datos y complementos integrados, analiza los datos y genera recomendaciones. Los agentes también pueden realizar acciones con ámbito dentro de los permisos configurados cuando se le solicite, lo que requiere la aprobación de un usuario o administrador adecuados. Los agentes pueden ir desde experiencias sencillas de solicitud y respuesta hasta flujos de trabajo más automatizados y semiautónomados con supervisión humana. Por ejemplo, el agente de evaluación de suplantación de identidad (Phishing Triage Agent) y el agente de corrección de vulnerabilidades.
Identidad del agente La credencial que usa un agente para autenticarse con los servicios de Microsoft y acceder a los datos que necesita para realizar sus tareas. Durante la instalación, un administrador elige crear una identidad dedicada (mediante Agente de Microsoft Entra ID) o permitir que el agente herede las credenciales del usuario que configura. La elección de la identidad rige a qué datos puede acceder el agente.
Origen de datos Datos estructurados o no estructurados a los que se accede a través de complementos o integraciones para respuestas terrestres.
Experiencia insertada Acceder a las funcionalidades de Security Copilot desde dentro de otro producto de seguridad de Microsoft, como Microsoft Defender XDR o Microsoft Sentinel. El panel Security Copilot sidecar ofrece asistencia de inteligencia artificial directamente en el contexto de ese producto.
Puesta a tierra Proceso de proporcionar orígenes de entrada contextuales al modelo de lenguaje grande relacionado con el símbolo del sistema de un usuario. Al habilitar Security Copilot para acceder a los datos de la organización a través de complementos y productos de seguridad de Microsoft, Security Copilot puede ofrecer respuestas más precisas y contextualmente relevantes.
Modelo de lenguaje grande (LLM) Modelos de inteligencia artificial entrenados en grandes cantidades de datos de texto para predecir palabras en secuencias. Los LLM son capaces de realizar varias tareas, como la generación de texto, el resumen, la traducción, la clasificación, etc.
Complemento Una colección de herramientas relacionadas que amplía las capacidades de Security Copilot al concederle acceso a recursos de servicios de Microsoft y que no son de Microsoft y sitios web públicos a través de LAS API. Los complementos agregan más contexto a las respuestas y salidas que Security Copilot genera.
Procesamiento posterior El conjunto de acciones Security Copilot realiza para refinar y preparar la respuesta de LLM antes de devolverla al usuario. Este procesamiento posterior incluye llamadas de puesta a tierra adicionales a través de complementos, comprobaciones de inteligencia artificial responsables, seguridad, cumplimiento y comprobaciones de privacidad.
Prompt Texto de lenguaje natural que un usuario envía a Security Copilot para ejecutar una tarea específica u obtener información. Por ejemplo, resuma este incidente y sugiera los pasos de corrección.
Promptbook Una serie de mensajes que se ejecutan en secuencia, basándose en respuestas anteriores, para realizar tareas específicas relacionadas con la seguridad. Los cuadernos de mensajes se pueden usar desde la biblioteca o los usuarios pueden compilar y compartir.
Pruebas de equipo rojo Técnicas utilizadas por expertos para evaluar las limitaciones y vulnerabilidades de un sistema y para probar la eficacia de las mitigaciones planeadas. Las pruebas en equipo rojo se usan para identificar posibles riesgos y son distintas de la medición sistemática de los riesgos.
Inteligencia artificial responsable Las prácticas de directiva, investigación e ingeniería de Microsoft que se fundamentan en sus principios de inteligencia artificial y se operacionalizan a través del estándar de inteligencia artificial responsable. Para obtener más información, consulte la guía de Fluent RAI.
Unidad de proceso de seguridad (SCU) Las SCU son las unidades de capacidad de proceso que se usan para ejecutar cargas de trabajo Security Copilot y ofrecer un rendimiento coherente en todas sus experiencias. Security Copilot capacidad se mide en SCU y se puede consumir a través de modelos de capacidad aprovisionados o de uso excesivo. Para obtener más información, consulte Descripción de las SCU.
respuesta Security Copilot La salida generada por IA devolvió a un mensaje de usuario, incluidos resúmenes, recomendaciones o acciones que pueden incluir código y objetos visuales.
Security Operations Center (SOC) Un equipo o una instalación de seguridad dedicados centrados en la supervisión continua, el análisis y la respuesta a incidentes de ciberseguridad dentro de una organización. Los analistas de SOC se encuentran entre los usuarios principales previstos de Security Copilot.
Almacén de seguridad Una experiencia similar a marketplace en la que los usuarios pueden detectar y habilitar agentes y extensiones creados por asociados para Security Copilot.
Sesión Contexto de interacción delimitada que incluye mensajes, respuestas y datos asociados que se usan para generar salidas. El contexto de sesión está aislado y no se comparte entre sesiones. El acceso a los datos de sesión se rige por los permisos de usuario y los roles del área de trabajo, y las solicitudes y respuestas se tratan como datos de cliente que no se usan para entrenar modelos básicos.
Experiencia independiente La experiencia inmersiva del portal de Security Copilot a la que se accede directamente en https://securitycopilot.microsoft.com.
Tenant Límite organizativo de Microsoft Entra ID que aísla la identidad, el acceso y los datos de Security Copilot. Todas las áreas de trabajo, los usuarios y las interacciones funcionan dentro de este límite y se rigen por los permisos de nivel de inquilino y los controles de seguridad.

Características o funcionalidades clave

Las características y funcionalidades clave de la tabla siguiente describen qué Microsoft Security Copilot está diseñado para hacer y cómo se realiza en las tareas admitidas.

Característica o funcionalidad Descripción
Investigación y respuesta de incidentes Security Copilot ayuda a los profesionales de seguridad a evaluar e investigar incidentes mediante la generación de resúmenes de alertas de seguridad complejas, la correlación de señales entre Microsoft Defender XDR, Microsoft Sentinel y otros productos integrados, y proporcionar instrucciones paso a paso para la corrección.
Inteligencia sobre amenazas Security Copilot puede buscar en Microsoft Defender perfiles y artículos de inteligencia sobre amenazas, informes de análisis de amenazas y publicaciones de divulgación de vulnerabilidades para exponer la inteligencia pertinente alineada con un aviso.
Análisis de scripts y generación de consultas de KQL Security Copilot puede analizar scripts sospechosos o malware y traducir lenguaje natural a consultas de KQL, lo que permite a los miembros del equipo de todos los niveles de aptitudes realizar tareas avanzadas de búsqueda y análisis técnico.
Administración de la posición de seguridad Security Copilot ayuda a los usuarios a comprender los riesgos prioritarios en su entorno e identificar oportunidades para mejorar la posición mediante la integración con Microsoft Defender XDR, Microsoft Entra y Microsoft Intune.
Creación y administración de directivas de seguridad Los usuarios pueden definir nuevas directivas, hacer referencia cruzada a ellas con directivas existentes para conflictos y resumir las directivas en lenguaje sin formato para administrar el contexto organizativo complejo.
Libros de avisos Los promptbooks son secuencias de mensajes que se ejecutan para realizar tareas de seguridad específicas. Los usuarios pueden ejecutar promptbooks desde una biblioteca compartida o crear y compartir los suyos propios.
Agents Security Copilot admite agentes que pueden automatizar y ayudar con las tareas de seguridad y operaciones de TI dentro de los permisos concedidos por los administradores. Las acciones del agente se rigen por identidades configuradas, controles de acceso y desencadenadores, y están diseñadas para funcionar con la supervisión humana como parte de los flujos de trabajo de seguridad. Los agentes creados por Microsoft abarcan la cartera de productos de seguridad, que abarca operaciones soc, búsqueda de amenazas, inteligencia sobre amenazas, administración de identidades, administración de puntos de conexión y seguridad de datos. Los administradores configuran la identidad, los permisos y el desencadenador de cada agente. Para obtener más información sobre los agentes específicos y sus casos de uso, consulte Usos previstos.
File upload Los usuarios pueden cargar archivos directamente en Security Copilot sesiones, lo que permite a Copilot analizar, resumir o realizar referencias cruzadas de contenido cargado al generar respuestas.
Compatibilidad con varios idiomas Security Copilot admite solicitudes y respuestas en varios idiomas. Para obtener más información, consulte Idiomas admitidos.

Usos previstos

Microsoft Security Copilot está diseñado para su uso por profesionales de seguridad y administradores de TI que necesitan soporte técnico asistido por inteligencia artificial en una amplia gama de tareas de seguridad y operaciones de TI. La experiencia de copiloto de asistencia ayuda a los usuarios a trabajar de forma más eficaz mediante la creación de contextos pertinentes, la generación de instrucciones accionables y la reducción del tiempo dedicado al análisis manual. Algunos ejemplos de casos de uso previstos incluyen:

  • Investigación y respuesta de incidentes: genera resúmenes de alertas complejas, correlaciona señales entre productos de seguridad integrados, como Microsoft Defender XDR y Microsoft Sentinel, y proporciona instrucciones paso a paso para la corrección. Los analistas pueden formular preguntas de seguimiento para refinar progresivamente su investigación.

  • Recopilación de inteligencia sobre amenazas: muestra información relevante sobre los actores de amenazas, el malware y las vulnerabilidades en función de las indicaciones del lenguaje natural, consolidando la información en resúmenes personalizados.

  • Análisis de scripts e ingeniería inversa: explica scripts sospechosos o actividad de línea de comandos en lenguaje sin formato, identifica comportamientos malintencionados y resalta indicadores de peligro.

  • Generación de consultas de KQL: convierte las solicitudes de lenguaje natural en consultas KQL listas para ejecutarse para la búsqueda avanzada y el análisis de registros.

  • Administración de la posición de seguridad: identifica los riesgos prioritarios y recomienda acciones para mejorar la posición de seguridad de la organización.

  • Creación y administración de directivas de seguridad: ayuda a redactar, revisar y resumir directivas e identificar brechas o conflictos.

  • Informes de las partes interesadas: genera informes adaptados a diferentes audiencias, incluidos resúmenes técnicos y sesiones informativas ejecutivas.

  • Promptbooks para flujos de trabajo de seguridad repetibles: permite a los usuarios ejecutar o crear flujos de trabajo de varios pasos para estandarizar las tareas de seguridad periódicas.

Modelos y datos de entrenamiento

Microsoft Security Copilot usa Azure modelos de lenguaje grande (LLM) de OpenAI de modelos de fundición vendidos por Azure para potenciar las experiencias de lenguaje natural. Estos modelos no se entrenan en Security Copilot datos de cliente. Las funcionalidades del modelo varían en el razonamiento, la velocidad, las limitaciones y los escenarios admitidos.

Security Copilot también incorpora conocimientos y contexto específicos de la seguridad a través de complementos y puesta a tierra, que proporcionan al LLM datos de la organización pertinentes, inteligencia sobre amenazas y contenido autoritativo en tiempo de inferencia en lugar de a través del entrenamiento del modelo.

Rendimiento

Security Copilot está diseñado para funcionar en entornos de seguridad empresariales en los que se generan grandes volúmenes de señales de seguridad en tiempo real en los productos de seguridad de Microsoft y otros orígenes de datos configurados por la organización.

A diferencia de los LLM de uso general, Security Copilot proporciona:

  • Procesamiento de señales en tiempo real en datos de seguridad estructurados
  • Razonamiento de investigación que correlaciona varios orígenes de datos
  • Salidas respaldadas por pruebas basadas en datos de clientes
  • Recopilación continua de datos para visibilidad continua

Los usuarios interactúan con Security Copilot mediante mensajes de lenguaje natural. El sistema procesa estas entradas a través de complementos activos, orígenes de datos y LLM para generar respuestas.

Las salidas son principalmente textuales, incluidas explicaciones de resumen, acciones recomendadas, instrucciones paso a paso, fragmentos de código (como consultas de KQL) e informes con formato adaptados a las partes interesadas. A medida que el sistema genera una respuesta, muestra pasos intermedios en un registro de procesos, lo que proporciona oportunidades para comprobar de forma doble sus procesos y orígenes. Los usuarios pueden cancelar, editar, volver a ejecutar o eliminar un mensaje en cualquier momento, y las respuestas se pueden anclar, compartir y exportar para facilitar la colaboración.

Limitaciones

Comprender las limitaciones de Microsoft Security Copilot es importante para asegurarse de que se usa de forma eficaz y responsable. Aunque Security Copilot mejora los flujos de trabajo de seguridad, no está diseñado para todos los escenarios. Consulte el Código de conducta de Microsoft Enterprise AI Services , así como las siguientes consideraciones al elegir un caso de uso:

  • Precisión e integridad: Security Copilot puede generar respuestas inexactas, incompletas o obsoletas. La calidad de salida depende de los orígenes de datos disponibles, las integraciones habilitadas y el contexto proporcionado por el usuario. Los usuarios deben aplicar el juicio humano y validar los resultados críticos.
  • Sesgo, estereotipado y contenido sin conexión: a pesar de las medidas de seguridad, los resultados pueden contener sesgos, estereotipos o conclusiones no admitidas debido a la naturaleza probabilística de los modelos de lenguaje grande. Los usuarios deben evaluar críticamente las respuestas, especialmente en escenarios confidenciales o de alto impacto.
  • Ámbito específico del dominio: Security Copilot está optimizado para tareas relacionadas con la seguridad, como la investigación de incidentes y el análisis de amenazas. Consultas fuera de este dominio puede dar lugar a respuestas menos precisas o menos pertinentes.
  • Límites de uso y latencia: el uso de Security Copilot puede estar sujeto a restricciones de capacidad y consideraciones de rendimiento. La generación de respuestas, incluida la ejecución de integraciones y la aplicación de comprobaciones de seguridad, puede introducir latencia. Las organizaciones deben supervisar su uso (SKU) para mantener un rendimiento coherente.
  • Estado de vista previa: algunas funcionalidades de Security Copilot pueden estar en versión preliminar. Las características de versión preliminar deben tratarse como funcionalidad de versión preliminar y las salidas deben revisarse antes de realizar acciones.
  • Restricciones de petición y contexto: Security Copilot funciona dentro de los límites de token y contexto inherentes a los modelos de lenguaje de gran tamaño. Las solicitudes largas o las interacciones extendidas pueden superar estos límites, lo que da lugar a respuestas truncadas o menos óptimas. La reasignación o simplificación de solicitudes puede mejorar los resultados.
  • Dependencia de orígenes de datos y configuración: las respuestas se basan en los datos disponibles, incluidos los servicios de Microsoft conectados, las integraciones de terceros y la entrada del usuario. Si los orígenes de datos pertinentes no están disponibles, habilitados o actuales, los resultados pueden carecer de integridad o precisión.
  • Generación de scripts y código: Security Copilot puede generar código o incluir código en las respuestas. Las respuestas pueden parecer válidas, pero es posible que no sean semánticamente o sintácticamente correctas, o que no reflejen con precisión la intención del solicitante. El código generado no debe implementarse en entornos de producción sin los procedimientos adecuados de validación, prueba y revisión. Los usuarios también deben comprobar que los parámetros utilizados por el código generado se alinean con la solicitud original. Por ejemplo, si un agente funciona en alertas dentro de un intervalo de tiempo específico, confirme que el intervalo de tiempo del código generado coincide con el intervalo de tiempo especificado en el símbolo del sistema de lenguaje natural.
  • Límites de permisos y acceso a datos: Security Copilot funciona dentro de los permisos de la organización y los controles de acceso a datos existentes. Las respuestas se limitan a los datos a los que un usuario tiene autorización para acceder. Los permisos mal configurados en sistemas subyacentes pueden afectar a la relevancia o integridad de los resultados.
  • Entornos en la nube de Government: Security Copilot no está diseñado actualmente para su uso en determinados entornos de nube gubernamentales.

Evaluaciones

Las evaluaciones de rendimiento y seguridad evalúan si las aplicaciones de inteligencia artificial funcionan de forma confiable y segura mediante el examen de factores como la base, la relevancia y la coherencia, a la vez que se identifican los riesgos de generar contenido dañino. Las siguientes evaluaciones se llevaron a cabo con componentes de seguridad ya implementados, que también se describen en Componentes de seguridad y Mitigaciones.

Datos de evaluación de calidad y seguridad

Nuestros datos de evaluación están personalizados para evaluar el rendimiento de las aplicaciones de inteligencia artificial en áreas clave de seguridad y calidad, simulando escenarios y riesgos reales. Comenzamos por identificar los aspectos de evaluación pertinentes que preocupan en función de la investigación multidisciplinar y las aportaciones de expertos. Estas preocupaciones se traducen en objetivos de evaluación dirigidos y orientan la formulación de métricas de evaluación.

Por motivos de seguridad, creamos avisos adversarios para obtener respuestas no deseadas o de casos perimetrales, que luego se puntúan mediante anotadores asistidos por IA entrenados para evaluar la alineación con los estándares de seguridad de Microsoft. Por calidad, creamos avisos basados en rúbricas relevantes para escenarios como la evaluación de aplicaciones y agentes de generación aumentada por recuperación (RAG).

Los conjuntos de datos se conservan de diversos orígenes, incluidos conjuntos de datos sintéticos y públicos, para simular escenarios de usuario reales. Con los conjuntos de datos seleccionados, ambas evaluaciones se someten a refinamiento iterativo y alineación humana para mejorar la eficacia y confiabilidad de las métricas. Esta metodología constituye la base de evaluaciones repetibles y rigurosas que reflejan cómo los clientes usan las evaluaciones para crear una inteligencia artificial mejor y más segura.

Evaluaciones personalizadas

Se realizaron evaluaciones personalizadas para validar el rendimiento del modelo en escenarios de puesta a tierra, solidez adversaria y contenido dañino mediante pruebas de regresión, conjuntos de datos de aviso seleccionados y ejemplos alineados con la producción. La evaluación comparó los resultados entre los modelos GPT, usando herramientas internas para evaluar la base y Azure filtrado de contenido de OpenAI para validar las protecciones contra el jailbreak, la inyección rápida y las infracciones de propiedad intelectual. Los resultados muestran un rendimiento coherente o mejorado, incluidas tasas de protección sólidas en escenarios adversarios y una mayor precisión de puesta a tierra.

El control de contenido dañino sigue siendo coherente en todos los modelos y funciona en modo de anotación para admitir casos de uso centrados en la seguridad, con pruebas adicionales a gran escala que confirman altas tasas de protección entre categorías. Las pruebas de regresión se realizan para comprobar que el contenido, que no es dañino, no se clasifica como dañino.

Los comentarios de los usuarios son fundamentales para mejorar Security Copilot. Los usuarios pueden proporcionar comentarios mediante: Mejoras en las necesidades, Inapropiada o las opciones correctas de Looks . Estos comentarios van directamente a Microsoft y se usan para mejorar el rendimiento de la plataforma mediante el refinamiento iterativo continuo.

Componentes de seguridad y mitigaciones

A medida que identificamos los posibles riesgos y el uso indebido a través de procesos como las pruebas de equipo rojo y los medimos, desarrollamos mitigaciones para reducir el potencial de daños. En la lista siguiente, se describen algunas de esas mitigaciones. Seguiremos evaluando la experiencia Microsoft Security Copilot para mejorar el rendimiento y las mitigaciones del producto.

  • Filtrado de contenido dañino y barreras de protección: Security Copilot integra barreras de protección desarrolladas por Microsoft (filtros de contenido) y modelos de detección de abusos como parte de la base Azure OpenAI Service. Estos modelos de clasificación neuronal detectan y filtran contenido dañino entre categorías, incluidos el odio, el sexo, la violencia y el autolesión en varios niveles de gravedad. Los modelos de clasificación opcionales también detectan riesgos de jailbreak, texto conocido o material de código y ataques de inyección de mensajes indirectos. Estos controles por capas ayudan a evitar que la inteligencia artificial genere respuestas que infrinjan los estándares de seguridad de Microsoft.

  • Diseño del sistema de seguridad: Microsoft desarrolló un sistema de seguridad para Security Copilot que está diseñado para mitigar errores y evitar el uso indebido, incluida la anotación de contenido perjudicial, la supervisión operativa y otras medidas de seguridad. Los requisitos de mitigación de IA responsable del servicio OpenAI Azure no se aplican a Security Copilot clientes directamente porque Security Copilot implementa estas mitigaciones en nombre del cliente.

  • Bucle de comentarios de los usuarios: la plataforma proporciona mecanismos de comentarios integrados: opciones de mejora de las necesidades, inapropiadas y apariencias correctas que permiten a los usuarios informar directamente a Microsoft sobre salidas problemáticas y útiles. Estos comentarios impulsan ciclos de mejora continua, lo que permite correcciones rápidas y ajustes del modelo cuando se detectan errores o desalineaciones.

  • Cifrado de datos y protección de acceso: los datos del cliente controlados por Security Copilot se cifran tanto en tránsito como en reposo, como se describe en el Anexo de protección de datos de productos y servicios de Microsoft. De forma predeterminada, ningún usuario humano tiene acceso a la base de datos y el acceso a la red está restringido a la red privada donde se implementa la aplicación Security Copilot; si se necesita acceso humano (para la respuesta a incidentes), los empleados autorizados de Microsoft deben aprobar el acceso elevado y el acceso a la red. Consulte Cumplimiento.

  • Enfoque de implementación por fases: Security Copilot libera características a través de un programa de acceso anticipado de solo invitación, lo que permite a Microsoft recopilar comentarios y refinar las características antes de una disponibilidad más amplia.

Nuestro enfoque de asignación, medición y administración de riesgos seguirá evolucionando a medida que obtengamos más información y ya estamos realizando mejoras en función de los comentarios recibidos de los clientes.

Procedimientos recomendados para implementar y adoptar Microsoft Security Copilot

La inteligencia artificial responsable es un compromiso compartido entre Microsoft y sus clientes. Aunque Microsoft crea sistemas de inteligencia artificial con seguridad, equidad y transparencia en el núcleo, los clientes desempeñan un papel fundamental en la implementación y el uso de estas tecnologías de forma responsable dentro de sus propios contextos.

Security Copilot agentes están diseñados para aumentar la experiencia humana, no para reemplazar. Los clientes siguen siendo responsables de revisar los resultados, validar las decisiones y garantizar el cumplimiento de las leyes, regulaciones y directivas de la organización aplicables.

Los implementadores y los usuarios finales deben:

  • Tenga cuidado y evalúe los resultados al usar Security Copilot para decisiones consecuentes o en dominios confidenciales: las decisiones consecuentes son aquellas que pueden tener un impacto legal o significativo en el acceso de una persona al empleo, los servicios legales, la atención sanitaria o que podrían dar lugar a daños físicos, psicológicos o financieros. Los dominios confidenciales, como los servicios financieros, la atención sanitaria y los servicios jurídicos, requieren atención especial debido a la posibilidad de un impacto desproporcionado en diferentes grupos de personas. Al usar la inteligencia artificial para tomar decisiones en estas áreas, los clientes deben asegurarse de que las partes interesadas afectadas puedan comprender cómo se toman las decisiones, apelar decisiones y actualizar los datos de entrada pertinentes.

  • Evaluar consideraciones legales y reglamentarias: los clientes deben evaluar posibles obligaciones legales y reglamentarias específicas al usar cualquier servicio de inteligencia artificial y soluciones, que pueden no ser adecuados para su uso en todos los sectores o escenarios. Además, los servicios o soluciones de IA no están diseñados para y no se pueden usar de maneras prohibidas en términos de servicio aplicables y códigos de conducta pertinentes.

  • Habilitar y mantener complementos pertinentes: la calidad y precisión de las respuestas Security Copilot dependen significativamente de los complementos que están habilitados. Los administradores deben asegurarse de que los complementos adecuados de Microsoft y de terceros se configuran y mantienen para que los usuarios reciban respuestas basadas y pertinentes contextualmente.

Los usuarios finales deben:

  • Escribir mensajes efectivos: escribir mensajes claros y específicos es clave para obtener mejores resultados con Security Copilot. Incluya contexto relevante, como identificadores de incidentes, nombres de recursos o intervalos de tiempo. Itere y regenere los mensajes según sea necesario, y revise y compruebe siempre las respuestas generadas por IA. Para obtener más información, consulte Sugerencias de solicitud de Security Copilot.

  • Ejercicio de la supervisión humana cuando corresponda: la supervisión humana es una medida de seguridad importante al interactuar con los sistemas de inteligencia artificial. Aunque mejoramos continuamente Security Copilot, los sistemas de inteligencia artificial pueden cometer errores. La salida generada puede ser inexacta, incompleta, parcial o no totalmente alineada con los objetivos previstos debido a la ambigüedad en las entradas o limitaciones de los modelos subyacentes. Los usuarios deben revisar las respuestas generadas por Security Copilot y comprobar que coinciden con sus expectativas y requisitos antes de tomar medidas.

  • Tenga en cuenta el riesgo de dependencia excesiva: la dependencia excesiva de la inteligencia artificial se produce cuando los usuarios aceptan salidas de IA incorrectas o incompletas, principalmente porque los errores en las salidas de IA pueden ser difíciles de detectar. Para los profesionales de seguridad, la dependencia excesiva podría dar lugar a amenazas perdidas, conclusiones incorrectas de incidentes o cambios de directiva basados en recomendaciones erróneas. Security Copilot incluye divulgación de inteligencia artificial y cita materiales de origen para ayudar a mitigar este riesgo, pero los usuarios deben asegurarse de comprobar la precisión de las respuestas. Los usuarios pueden revisar el mapa del nodo del agente que proporciona una vista de alto nivel de los pasos realizados durante el flujo de trabajo de un agente.

  • Tenga cuidado al implementar o diseñar la inteligencia artificial agentic en dominios confidenciales: los usuarios deben implementar la supervisión humana adecuada al configurar e implementar sistemas de inteligencia artificial de agente en dominios donde las acciones del agente son irreversibles o altamente consecuentes. Se deben tomar precauciones adicionales al crear una inteligencia artificial agente autónoma, tal como se describe en el Código de conducta de Microsoft Enterprise AI Services.

Los implementadores deben:

  • Configure los permisos de RBAC y agente cuidadosamente: los administradores son responsables de configurar los controles de acceso basados en rol para los usuarios y los agentes. Los permisos deben seguir el principio de privilegios mínimos. Solo se debe conceder a los agentes acceso a los datos y acciones necesarios para su tarea designada.

  • Supervisar la actividad de uso y revisión: los administradores (propietarios) pueden usar el panel de supervisión de uso de Security Copilot para revisar los datos de nivel de sesión, como el uso a lo largo del tiempo, los iniciadores de sesión y los complementos usados durante las sesiones. Esta visibilidad ayuda a las organizaciones a comprender cómo se usa Security Copilot en los mensajes, los cuadernos de mensajes y los agentes. Para obtener más información, vea Administrar el uso.

  • Administrar la configuración de uso compartido de datos: los propietarios pueden configurar las preferencias de uso compartido de datos del cliente en cualquier momento y deben revisar y actualizar esta configuración de acuerdo con los requisitos de privacidad y cumplimiento de su organización. Para obtener más información, consulte Privacidad y seguridad de datos en Microsoft Security Copilot.

  • Instruya a los usuarios sobre las funcionalidades y limitaciones: el uso eficaz y responsable de Security Copilot requiere que los usuarios comprendan lo que el sistema puede y no puede hacer. Los implementadores deben proporcionar formación e instrucciones para ayudar a los usuarios a interactuar con Security Copilot de forma eficaz, incluida la importancia de comprobar las salidas generadas por IA antes de tomar medidas.

Más información sobre Security Copilot

Para obtener instrucciones adicionales sobre el uso responsable de Microsoft Security Copilot, consulte la siguiente documentación:

Más información sobre la inteligencia artificial responsable

  • Last updated on