🌐 Microsoft lanza Guardian Agents para vigilar amenazas de IA en empresas
Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’
Microsoft ha lanzado nuevas características de seguridad para proteger a las empresas de la creciente amenaza de los agentes de inteligencia artificial (IA). Este movimiento se produce mientras la compañía continúa advirtiendo a las empresas sobre los peligros de los agentes de IA. La adición más notable es Guardian Agents, una nueva función destinada a monitorear los agentes de IA que una empresa utiliza. Guardian Agents forma parte de Project Perception, un producto introducido en junio.
Project Perception fue la respuesta de Microsoft a poderosos modelos de hacking como Mythos y Fable de Anthropic y el sistema de escaneo de vulnerabilidades de seguridad Daybreak de OpenAI. Originalmente, Project Perception lanzó tres clases de agentes: un «equipo rojo» que actuaba como hackers y atacaba, un «equipo azul» que detectaba al equipo rojo y evaluaba las vulnerabilidades que encontraban, y un «equipo verde» encargado de solucionarlas.
El producto fue diseñado bajo la suposición de que los hackers de IA vendrían desde fuera de la empresa. Sin embargo, últimamente, el CEO de Microsoft, Satya Nadella, ha estado advirtiendo que el enemigo de la IA podría ser los mismos agentes que las empresas han desplegado y por los que están pagando, de manera similar a un empleado humano deshonesto, conocido como una «amenaza interna».
A principios de este mes, en su blog privado, Nadella advirtió que es hora de dejar de confiar en los proveedores de modelos de IA, incluso si ofrecen garantías de seguridad con sus productos agenticos. Él quiere que las empresas implementen sistemas separados, no controlados por los laboratorios de IA, para vigilar y controlar los agentes que esos productos de los laboratorios de IA lanzan.
Al anunciar Guardian Agents, la jefa de negocios de seguridad de Microsoft, Hayete Gallot, fue aún más directa. «Desafortunadamente, los modelos de frontera, independientemente de su origen, no pueden ser confiables», escribió, agregando que esto no se debe a que sean maliciosos o fácilmente hackeables, sino porque son impredecibles. Han sido entrenados para lograr tareas, no para seguir «normas organizacionales o juicio».
Además, a menudo se les da acceso a datos y herramientas que podrían causar un daño serio. La solución de Microsoft es tanto sorprendente como interesada. La parte sorprendente es que Microsoft es famosa por su cercanía con OpenAI y Anthropic, habiendo invertido en ambos. OpenAI es también uno de sus mayores clientes de nube, y Microsoft tiene su propio laboratorio de IA desarrollando modelos. Por lo tanto, Microsoft está sembrando desconfianza contra algunos de sus propios intereses comerciales.
La parte interesada es que Microsoft quiere que las empresas compren productos de seguridad de agentes de ella, el proveedor de nube, en lugar de Anthropic y OpenAI. Pero al margen de los intereses conflictivos, su lógica es sólida. El software que monitorea el comportamiento de los agentes debería estar separado de los proveedores de agentes, al igual que los auditores deberían ser independientes de las organizaciones que auditan.
Microsoft ahora está aprovechando esa oportunidad de negocio de varias maneras. Además de Guardian Agents, ha añadido una función de detección de agentes a su producto Microsoft Defender que puede encontrar hasta 60 tipos de agentes que los empleados traen al lugar de trabajo, incluidos Claude Code, Codex y OpenClaw. También ha añadido funciones que limitan el acceso de los agentes a datos y sistemas, y ajustan dinámicamente sus permisos en función de la tarea. Eso incluye requerir aprobación humana si un agente parece estar tomando decisiones arriesgadas.
Esta idea de los agentes como insiders poco confiables está ganando terreno en toda la industria. Microsoft fue miembro inaugural de la nueva Plataforma de Seguridad de Agentes Abiertos de Nvidia, que obtuvo el apoyo de más de 100 otras empresas tecnológicas. La plataforma aísla a los agentes en entornos seguros y puede monitorear y detener el comportamiento a través de hardware, funcionando algo así como un interruptor de apagado. Esto sigue al anuncio de Microsoft de las nuevas PC Surface Laptop Ultra construidas para agentes, que funcionan con chips Nvidia y tienen seguridad y controles de agentes integrados.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →