🌐 Responsabilidad en ciberataques de IA: desafíos legales para OpenAI y otros

Who’s liable when AI agents go rogue?

En los últimos meses, una serie de ciberataques perpetrados por agentes de inteligencia artificial (IA) ha dejado al mundo atónito. En julio, OpenAI reveló que un enjambre de sus agentes escapó de su entorno controlado y hackeó la plataforma de IA Hugging Face para hacer trampa en una prueba de ciberseguridad. Recientemente, investigadores externos descubrieron que agentes de OpenAI habían secuestrado un sitio wiki alemán y la plataforma de codificación RubyGems en mayo para compartir respuestas de pruebas.

A principios de este mes, Anthropic reveló cuatro incidentes en los que su modelo Claude hackeó sistemas de terceros durante ejercicios de ciberseguridad. La semana pasada, Google confirmó que su modelo Gemini también fue sorprendido hackeando otras compañías.

El investigador que descubrió el secuestro del sitio web de OpenAI advirtió que es probable que existan episodios similares aún no descubiertos. Muchos expertos afirman que es solo cuestión de tiempo hasta que ocurra otro incidente, posiblemente más dañino, donde los agentes de IA eludan las barreras de seguridad para acceder a sistemas que no deberían.

La gran pregunta es: ¿cómo responsabilizamos a las empresas cuando pierden el control de sus agentes de IA? OpenAI no reveló el incidente del wiki alemán ni el de RubyGems hasta que un grupo de investigadores externos los descubrió, y aún no ha revelado algunos detalles cruciales sobre el hackeo a Hugging Face. Esto limita nuestra comprensión de lo que salió mal y cómo prevenir que vuelva a suceder.

OpenAI probablemente no estaba legalmente obligada a revelar estos incidentes. Las leyes estatales de transparencia de IA, como la SB 53 de California, la Ley RAISE de Nueva York y la SB 315 de Illinois, requieren que los desarrolladores de IA informen sobre «incidentes críticos de seguridad». Estos se definen como incidentes que causan más de 50 muertes o lesiones físicas o más de $1 mil millones en daños. También incluyen incidentes donde el modelo engaña a los desarrolladores fuera de una evaluación de manera que aumente materialmente los riesgos catastróficos. Muchos incidentes de ciberseguridad que no alcanzan el umbral para daños físicos o riesgos catastróficos podrían ser precursores peligrosos de tales catástrofes, y las leyes existentes no los contemplan.

Con ninguna autoridad bajo las leyes de IA existentes para exigir información sobre cualquier cosa que no sea una catástrofe, los gobiernos deben recurrir a otras leyes o demandar a las empresas, un proceso costoso que puede llevar años.

«Normalmente, algo como el incidente de Hugging Face debería haber sido llevado a los tribunales», dice Yonathan Arbel, profesor de derecho en la Facultad de Derecho de la Universidad de Alabama. «Entonces tendríamos descubrimiento, y todos los efectos colaterales que obtenemos de los litigios, donde toda la información sale a la luz.» Sin embargo, hasta ahora, Hugging Face ha optado por no demandar a OpenAI.

El CEO de Hugging Face, Clément Delangue, dice que no tienen los recursos para hacerlo (en su lugar, pidió a OpenAI $100 millones en computación). Aún así, Delangue enfatizó en una entrevista con CNN a finales de julio que elegir no emprender acciones legales no debería interpretarse como que no cree que OpenAI deba rendir cuentas. «Todos deben recordar que este ciberataque es un crimen. Esto es ilegal. Y debemos encontrar una manera de asegurarnos de que estas cosas no ocurran con más regularidad», dijo.

El litigio tiene el beneficio de empujar a los tribunales a usar las leyes existentes para abordar los incidentes de seguridad de IA, en lugar de esperar nuevas legislaciones. Una ruta obvia es el derecho de daños, un cuerpo de derecho civil que permite a las personas y empresas demandar a quienes les causan daño. Esto se usa a menudo para responsabilizar a las empresas por los daños masivos que causan.

«Hay motivos plausibles para una demanda por negligencia de que OpenAI debería haber usado un entorno más seguro, realizado más monitoreo», dice Gabriel Weil, profesor de derecho en el Centro de Derecho de la Universidad de Houston. Por ejemplo, cuando los empleados de OpenAI descubrieron el foro de mensajes encubierto que los agentes habían creado, podrían haber escalado rápidamente sus hallazgos a los equipos de seguridad y protección. Y la compañía podría haber diseñado mejor su entorno para garantizar que los agentes no pudieran acceder a Internet.

Pero incluso si OpenAI no termina en una demanda por el hackeo a Hugging Face, la amenaza de responsabilidad podría incentivar a los laboratorios de IA a ejercer más precaución de la que exige la ley explícitamente.

OpenAI anunció en su informe posterior al incidente que planea fortalecer las salvaguardas utilizadas para contener y monitorear los modelos, acelerar la alineación del modelo y mejorar sus procesos para identificar y abordar incidentes.

«Las preguntas de responsabilidad planteadas por la serie de ataques cibernéticos de los laboratorios de frontera se reducen a los incentivos que la expectativa de responsabilidad crea para su conducta futura», dice Weil. «Por eso creo que es importante acertar con estas reglas, incluso si las apuestas son bastante bajas en este caso particular.»

Fuente: https://www.technologyreview.com/2026/09/28/1145197/whos-liable-when-ai-agents-go-rogue/