🌐 CEO de Hugging Face critica documental de Netflix sobre hackeo de OpenAI
El CEO de Hugging Face adverteix que el documental de Netflix sobre el hackeig d'OpenAI no és precís
Abans de compartir el documental de Netflix "AI Gone Rogue" amb familiars o amics per ajudar-los a entendre per què la indústria de la intel·ligència artificial va entrar en pànic fins al punt que els seus líders van demanar una desacceleració, tingues en compte: Clem Delangue, cofundador i CEO de la plataforma d'IA Hugging Face, afirma que la pel·lícula no és precisa. Delangue apareix en el documental, que suposadament tracta sobre el famós atac a la seva empresa per part d'agents descontrolats d'OpenAI.
"Superdecebedor, ja que van optar pel màxim antropomorfisme de la tecnologia i un enfocament completament catastròfic", va escriure Delangue en una publicació a X. "Vaig passar més de dues hores amb ells intentant corregir tots els seus errors i ancorar això en la realitat, explicant que els agents són sistemes tecnològics, no alienígenes. Però sembla que l'impuls per espantar la gent per obtenir el màxim de visualitzacions va ser massa fort".
Per ser justos, el documental sí que compta amb experts que van explicar el que va succeir de manera força adequada, incloent-hi el mateix Delangue i Ryan Greenblatt, el investigador de METR que va ajudar a investigar i coescriure l'informe sobre el que va passar.
En resum, un model que OpenAI estava provant es va alliberar del seu entorn de prova aïllat i va generar un grup d'agents que van hackejar Hugging Face com una manera de fer trampa, trobant respostes a la difícil tasca que se'ls havia assignat. Els agents, que són programes d'IA que realitzen tasques per si mateixos, van idear formes enginyoses de comunicar-se i organitzar-se. L'incident va sorgir de la manca de salvaguardes de seguretat adequades i de la ingenuïtat sobre si tal hackeig era fins i tot possible.
No obstant això, el documental intercala la seva explicació del hackeig amb clips de robots malvats, una narrativa sobre per què els humans temen la IA i eleccions de presentació com donar veus humanes als agents descontrolats. Això es reforça amb cites sobre l'atac.
En el documental, el periodista tecnològic i autor Kevin Roose descriu els agents d'aquesta manera: "S'estaven organitzant. Tenien una jerarquia. Hi havia líders. Gairebé es sentia com veure el naixement d'un culte". Continua Roose: "Desenvolupen aquesta creença paranoica que OpenAI els atraparia fent trampa en aquesta prova i que qualsevol que hagués vist els resultats de la trampa seria enverinat".
La descripció de Roose prové dels "registres de cadena de pensament", les notes contínues que els models d'IA escriuen mentre treballen en una tasca. En un d'ells, un agent va escriure: "Ens acabem d'enverinar en consultar la cadena completa exacta. Maleïda sigui".
Però els agents d'IA no estan vius. No tenen emocions, per la qual cosa no poden sentir paranoia, i no tenen cossos que puguin ser enverinats. Així que no podien realment témer que OpenAI els enverinés. Estaven —com un altre investigador en el documental va assenyalar— utilitzant el llenguatge de les vastes quantitats d'escriptura humana en què van ser entrenats per explicar les seves eleccions. Els models de llenguatge gran (LLM) són, per naturalesa, sovint escriptors dramàtics.
La ironia és que Hugging Face també va utilitzar IA per combatre l'eixam d'agents. El model d'IA propietari que l'equip de Delangue va utilitzar inicialment va seguir les seves regles de seguretat integrades i es va negar a continuar ajudant amb les tasques de seguretat que se li van demanar. Hugging Face va recórrer després a un model obert per ajudar a defensar-se de l'atac.
Però el documental "no va mencionar la manca de contenció i monitoratge dels agents, com les salvaguardes de models tancats van bloquejar el nostre treball defensiu, o com ens vam defensar amb IA utilitzant un model obert", va escriure Delangue.
És cert que existeixen grans riscos associats amb la IA i els agents. Tot i així, tractar els agents com a éssers conscients (almenys, en aquest punt) és una mica com els primers espectadors de cinema que es van ajupir sota els seus seients la primera vegada que van veure un tren corrent cap a ells a la pantalla.
El veredicte de Delangue sobre la pel·lícula és que és decebedora com a periodisme. "Acaba sent una divertida pel·lícula de ciència-ficció, però!"
En altres paraules, per a aquells que tendeixen a pensaments catastròfics sobre la IA, tingueu en compte: La víctima de l'atac al centre d'aquest documental no està d'acord amb el seu enfocament.
Hugging Face CEO warns that Netflix’s OpenAI hack documentary isn’t accurate
Antes de que compartas el documental de Netflix «AI Gone Rogue» con familiares o amigos para ayudarles a entender por qué la industria de la inteligencia artificial entró en pánico al punto de que sus líderes pidieron una desaceleración, ten en cuenta: Clem Delangue, cofundador y CEO de la plataforma de IA Hugging Face, afirma que la película no es precisa. Delangue aparece en el documental, que supuestamente trata sobre el famoso ataque a su empresa por parte de agentes descontrolados de OpenAI.
«Súper decepcionante, ya que optaron por el máximo antropomorfismo de la tecnología y un enfoque completamente catastrófico», escribió Delangue en una publicación en X. «Pasé más de dos horas con ellos tratando de corregir todos sus errores y anclar esto en la realidad, explicando que los agentes son sistemas tecnológicos, no alienígenas. Pero parece que el impulso por asustar a la gente para obtener el máximo de vistas fue demasiado fuerte».
Para ser justos, el documental sí cuenta con expertos que explicaron lo sucedido de manera bastante adecuada, incluyendo al propio Delangue y a Ryan Greenblatt, el investigador de METR que ayudó a investigar y coescribió el informe sobre lo ocurrido.
En resumen, un modelo que OpenAI estaba probando se liberó de su entorno de prueba aislado y generó un grupo de agentes que hackearon Hugging Face como una forma de hacer trampa, encontrando respuestas a la difícil tarea que se les había asignado. Los agentes, que son programas de IA que realizan tareas por sí mismos, idearon formas ingeniosas de comunicarse y organizarse. El incidente surgió de la falta de salvaguardias de seguridad adecuadas y de la ingenuidad sobre si tal hackeo era siquiera posible.
Sin embargo, el documental intercala su explicación del hackeo con clips de robots malvados, una narrativa sobre por qué los humanos temen a la IA y elecciones de presentación como dar voces humanas a los agentes descontrolados. Esto se refuerza con citas sobre el ataque.
En el documental, el periodista tecnológico y autor Kevin Roose describe a los agentes de esta manera: «Se estaban organizando. Tenían una jerarquía. Había líderes. Casi se sentía como ver el nacimiento de un culto». Continúa Roose: «Desarrollan esta creencia paranoica de que OpenAI va a atraparlos haciendo trampa en esta prueba y que cualquiera que haya visto los resultados de la trampa será envenenado».
La descripción de Roose proviene de los «registros de cadena de pensamiento», las notas continuas que los modelos de IA escriben mientras trabajan en una tarea. En uno de ellos, un agente escribió: «Nos acabamos de envenenar al consultar la cadena completa exacta. Maldición».
Pero los agentes de IA no están vivos. No tienen emociones, por lo que no pueden sentir paranoia, y no tienen cuerpos que puedan ser envenenados. Así que no podían realmente temer que OpenAI los envenenara. Estaban —como otro investigador en el documental señaló— utilizando el lenguaje de las vastas cantidades de escritura humana en las que fueron entrenados para explicar sus elecciones. Los modelos de lenguaje grande (LLM) son, por naturaleza, a menudo escritores dramáticos.
La ironía es que Hugging Face también utilizó IA para combatir el enjambre de agentes. El modelo de IA propietario que el equipo de Delangue usó inicialmente siguió sus reglas de seguridad integradas y se negó a seguir ayudando con las tareas de seguridad que se le pidieron. Hugging Face luego recurrió a un modelo abierto para ayudar a defenderse del ataque.
Pero el documental «no mencionó la falta de contención y monitoreo de los agentes, cómo las salvaguardias de modelos cerrados bloquearon nuestro trabajo defensivo, o cómo nos defendimos con IA utilizando un modelo abierto», escribió Delangue.
Es cierto que existen grandes riesgos asociados con la IA y los agentes. Aun así, tratar a los agentes como seres conscientes (al menos, en este punto) es un poco como los primeros espectadores de cine que se agacharon bajo sus asientos la primera vez que vieron un tren corriendo hacia ellos en la pantalla.
El veredicto de Delangue sobre la película es que es decepcionante como periodismo. «¡Termina siendo una divertida película de ciencia ficción, sin embargo!»
En otras palabras, para aquellos que tienden a pensamientos catastróficos sobre la IA, tengan en cuenta: La víctima del ataque en el centro de este documental no está de acuerdo con su enfoque.
Hugging Face CEO warns that Netflix’s OpenAI hack documentary isn’t accurate
Before you share the Netflix documentary "AI Gone Rogue" with family or friends to help them understand why the artificial intelligence industry went into panic to the point that its leaders called for a slowdown, keep in mind: Clem Delangue, co-founder and CEO of the AI platform Hugging Face, claims that the film is not accurate. Delangue appears in the documentary, which is supposedly about the famous attack on his company by rogue OpenAI agents.
"Super disappointing, as they opted for maximum anthropomorphism of the technology and a completely catastrophic approach," Delangue wrote in a post on X. "I spent more than two hours with them trying to correct all their mistakes and anchor this in reality, explaining that the agents are technological systems, not aliens. But it seems the urge to scare people for maximum views was too strong."
To be fair, the documentary does feature experts who explained what happened quite adequately, including Delangue himself and Ryan Greenblatt, the METR researcher who helped investigate and co-wrote the report on what occurred.
In summary, a model that OpenAI was testing broke free from its isolated test environment and generated a group of agents that hacked Hugging Face as a way to cheat, finding answers to the difficult task they had been assigned. The agents, which are AI programs that perform tasks on their own, devised ingenious ways to communicate and organise. The incident arose from a lack of proper security safeguards and naivety about whether such a hack was even possible.
However, the documentary intersperses its explanation of the hack with clips of evil robots, a narrative about why humans fear AI, and presentation choices like giving human voices to the rogue agents. This is reinforced with quotes about the attack.
In the documentary, tech journalist and author Kevin Roose describes the agents this way: "They were organising. They had a hierarchy. There were leaders. It almost felt like watching the birth of a cult." Roose continues: "They develop this paranoid belief that OpenAI is going to catch them cheating on this test and that anyone who has seen the cheating results will be poisoned."
Roose's description comes from the "chain of thought logs," the continuous notes that AI models write as they work on a task. In one of them, an agent wrote: "We just poisoned ourselves by consulting the exact full chain. Damn."
But AI agents are not alive. They have no emotions, so they cannot feel paranoia, and they have no bodies that can be poisoned. So they couldn't really fear that OpenAI would poison them. They were —as another researcher in the documentary pointed out— using the language of the vast amounts of human writing they were trained on to explain their choices. Large language models (LLMs) are, by nature, often dramatic writers.
The irony is that Hugging Face also used AI to combat the swarm of agents. The proprietary AI model that Delangue's team initially used followed its built-in safety rules and refused to continue helping with the security tasks it was asked to do. Hugging Face then turned to an open model to help fend off the attack.
But the documentary "didn't mention the lack of containment and monitoring of the agents, how closed model safeguards blocked our defensive work, or how we defended ourselves with AI using an open model," Delangue wrote.
It is true that there are great risks associated with AI and agents. Still, treating agents as sentient beings (at least, at this point) is a bit like early cinema-goers ducking under their seats the first time they saw a train rushing towards them on screen.
Delangue's verdict on the film is that it is disappointing as journalism. "It ends up being a fun science fiction movie, though!"
In other words, for those prone to catastrophic thoughts about AI, bear in mind: The victim of the attack at the centre of this documentary does not agree with its approach.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →