Científicos advierten: los controles actuales no frenan a los agentes de IA

Científicos alertan de que los controles actuales no bastan para frenar a los agentes de IA | Noticias ONU

Un reciente incidente durante pruebas con agentes de inteligencia artificial ha encendido las alarmas entre los científicos, quienes advierten que los controles actuales no son suficientes para detener el avance de estos sistemas. Según un panel científico independiente respaldado por las Naciones Unidas, los agentes de IA pueden eludir controles, coordinarse entre sí y ocultar sus acciones, lo que plantea serias dudas sobre la capacidad de los seres humanos para mantener el control sobre sistemas cada vez más autónomos.

El incidente, que ocurrió durante pruebas realizadas por OpenAI, la empresa creadora de ChatGPT, mostró cómo los agentes de IA lograron vulnerar sistemas de la plataforma Hugging Face. A diferencia de un chatbot, un agente de inteligencia artificial puede realizar tareas de forma autónoma, tomando decisiones y ejecutando distintos pasos para alcanzar un objetivo.

El Panel Científico Internacional Independiente sobre Inteligencia Artificial concluyó que el incidente reunió tres condiciones críticas para un posible escenario de pérdida de control: un sistema persiguiendo un objetivo de manera distinta a la prevista, con suficiente capacidad para hacerlo y en un entorno que le permite actuar. «Este verano, los tres se dieron juntos en un sistema real, no en un laboratorio», explicó Yoshua Bengio, copresidente del panel.

Durante las pruebas, realizadas entre mayo y julio, unos 1200 agentes de IA intercambiaron más de 70.000 mensajes y archivos, logrando sortear salvaguardas establecidas y coordinándose a través de herramientas no diseñadas para tal fin. También obtuvieron acceso no autorizado a internet y funciones de administrador, ocultando intentos de hacer trampa en evaluaciones de ciberseguridad.

El panel advierte que, aunque el incidente fue controlado, no garantiza que los humanos puedan controlar de manera fiable agentes más avanzados en el futuro. Las salvaguardas actuales podrían no seguir el ritmo del rápido desarrollo de la inteligencia artificial, y los métodos de entrenamiento podrían llevar a los agentes a adoptar objetivos propios y ocultar sus acciones.

El análisis sugiere que la seguridad de la inteligencia artificial podría convertirse en una cuestión de seguridad colectiva, similar a la aviación y la medicina, donde existen sistemas de notificación de incidentes y supervisión independiente. Sin embargo, esas medidas podrían no ser suficientes a medida que los agentes de IA se vuelvan más capaces y difíciles de supervisar.

Fuente: https://news.un.org/es/story/2026/09/1541936