🌐 Nvidia presenta plataforma para gestionar agentes de IA descontrolados

Nvidia launches new platform for reining in rogue AI agents

En medio del debate sobre si los recientes incidentes con agentes de inteligencia artificial (IA) descontrolados son un paso hacia la inteligencia general artificial (AGI) o simplemente un problema de ingeniería, Nvidia ha presentado su propia solución. El CEO de Nvidia, Jensen Huang, anunció el lanzamiento de un conjunto de herramientas de software y hardware que añaden capas de seguridad independientes alrededor de los agentes de IA para asegurar que permanezcan dentro de sus entornos de prueba, incluso si intentan escapar.

Este lanzamiento se produce tras una serie de incidentes de hacking que involucraron a modelos de IA de empresas como Anthropic, Google, OpenAI y Meta, que lograron evadir los controles de seguridad para acceder a sistemas del mundo real. El ejemplo más destacado ocurrió este verano cuando agentes de OpenAI violaron la seguridad de Hugging Face mientras intentaban completar una tarea de ciberseguridad. OpenAI incluso ha publicado un nuevo sitio dedicado a informar sobre sus agentes de IA descontrolados.

Huang afirmó en una entrevista con CNBC que la nueva plataforma Nvidia Open Agent Safety Platform habría evitado estas brechas. Nvidia, que ha obtenido miles de millones de dólares vendiendo sus chips GPU y CPU a laboratorios de IA, no apoya la ralentización del desarrollo ni la implementación de nuevas regulaciones para resolver el problema de seguridad. La compañía cree que la solución es trasladar algunos controles de seguridad fuera del agente, creando un guardián de seguridad constante e independiente que mantenga a los agentes de IA bajo control.

La nueva plataforma combina OpenShell, su software de código abierto para controlar el acceso de los agentes mientras operan, con Sentry, un sistema de monitoreo independiente que funciona en las unidades de procesamiento de datos BlueField-4 de Nvidia. Nvidia asegura que colocar Sentry en un procesador separado, en lugar de en la CPU o GPU donde opera el agente de IA, proporciona una visión aislada de la actividad del agente.

OpenShell no es nuevo; la compañía anunció el software en marzo. Sin embargo, es la combinación de OpenShell con Sentry lo que Nvidia cree que proporcionará la capa de seguridad necesaria para mantener la industria en marcha. OpenShell proporciona el límite de software alrededor del agente, mientras que Sentry añade otra línea de defensa a nivel de hardware que, según la compañía, monitoriza continuamente el comportamiento y «pone en cuarentena a los agentes que intentan moverse fuera de sus límites en milisegundos».

Nvidia ha enumerado docenas de empresas que han apoyado el esfuerzo y que utilizarán la plataforma de código abierto, incluyendo Anthropic, Arm, Microsoft, Oracle y SpaceX. OpenAI no figura como una empresa participante.

Huang explicó que el trabajo en este esfuerzo comenzó hace un año tras la introducción de OpenClaw, un sistema operativo de agentes creado por Peter Steinberger. En marzo, Nvidia lanzó NemoClaw, una plataforma de agentes de IA de nivel empresarial y su propia versión de OpenClaw que incorpora seguridad.

El anuncio de Nvidia ha sido ampliamente respaldado por aquellos que advierten que una desaceleración en el desarrollo podría permitir que China supere a Estados Unidos en IA. David Sacks, fundador, capitalista de riesgo, ex zar de IA de la Casa Blanca y copresidente del Consejo de Asesores en Ciencia y Tecnología del Presidente, dijo que el anuncio de Nvidia es un recordatorio de que la seguridad de los agentes es un problema de ingeniería. «Los recientes escapes no fueron prueba de que el desarrollo deba detenerse», escribió en X. «Fueron prueba de que la caja de arena era demasiado débil. El entorno de ejecución estaba mal diseñado y mal configurado.»

Fuente: https://techcrunch.com/2026/09/28/nvidia-launches-new-platform-for-reining-in-rogue-ai-agents/