🌐 Investigadores despedidos de OpenAI niegan mala conducta y alertan sobre cambio cultural
Fired OpenAI safety researchers dispute misconduct claims, warn of chilling effect
Jasmine Wang, Tomek Korbak i Mikita Balesni, els tres investigadors de seguretat acomiadats per OpenAI la setmana passada, han publicat una carta oberta negant les afirmacions de l'empresa que van gestionar informació sensible fora dels procediments establerts i van advertir que el seu acomiadament assenyala un efecte intimidatori que tindrà repercussions en la cultura de l'empresa.
"Ens preocupa que les comunicacions internes i externes sobre el nostre acomiadament hagin fet que els nostres antics col·legues tinguin por de parlar i operar de maneres que, fins la setmana passada, eren una part integral de treballar a OpenAI", van escriure els investigadors en una carta oberta dirigida al Comitè de Seguretat i Protecció d'OpenAI, al Grup Assessor de Seguretat i al Consell Assessor de Missió.
Els investigadors van ser acomiadats la setmana passada després de suposadament compartir informació confidencial de l'empresa amb una organització de seguretat d'IA de tercers. OpenAI va afirmar que van violar les polítiques de l'empresa en "accedir i gestionar informació sensible de l'empresa".
"La IA no és una tecnologia normal, i OpenAI no és una empresa normal", van escriure Wang, Korbak i Balesni. "Aquells de nosaltres que treballem en seguretat veiem riscos abans que ningú, i depenem d'una estreta col·laboració amb experts externs per resoldre com abordar-los. La llibertat de fer-ho sense por, i de tenir procediments interns ben definits que permetin aquest treball, és en si mateixa un mecanisme de seguretat essencial".
Van afirmar que el seu acomiadament representa un canvi més ampli en la cultura d'OpenAI, una que solia encoratjar els treballadors a "plantejar preocupacions de seguretat i dissentir obertament". Van dir que els empleats ara "no tenen clar on es troben" quan un comportament que suposadament era normal fa un mes ara és sobtadament motiu d'acomiadament.
"Donades les importants preocupacions de seguretat al voltant del desenvolupament de la IA, els empleats no han de quedar treballant en un entorn on la por i les regles poc clares obstaculitzin el treball de seguretat de la IA i debilitin la responsabilitat de tercers", van escriure. "Acomiadaments com el nostre, executats i comunicats tan abruptament, estan refredant la cultura oberta que OpenAI ha valorat en el passat".
En la carta, els tres van negar la seva participació en una filtració a The Information sobre arquitectures menys monitoritzables en els models més nous d'OpenAI que dificulten el monitoratge del raonament en cadena. També van negar haver interactuat amb parts externes fora dels mandats de les seves feines.
OpenAI no ha respost formalment a la carta oberta, però va compartir amb TechCrunch un memoràndum intern atribuït a un líder de recerca, lloant les contribucions dels tres investigadors a la seguretat de la IA i negant que fossin acomiadats en represàlia.
"Vull deixar molt clar que aquestes decisions no es van prendre per plantejar preocupacions de seguretat o parlar", diu el memoràndum. "Sempre hem encoratjat això i sempre ho farem. No acomiadem empleats per plantejar preocupacions".
Per separat, un portaveu d'OpenAI va dir a TechCrunch que els tres van ser acomiadats després que una investigació revelés un "patró de mala conducta" en "clara violació de les nostres polítiques de gestió inadequada d'informació de recerca" que va més enllà de compartir informació amb un grup extern d'avaluació d'IA.
Els acomiadaments han alimentat especulacions sobre les seves circumstàncies, particularment mentre OpenAI afronta escrutini per incidents recents de seguretat que involucren agents descontrolats i filtracions sobre els seus models.
La carta també aborda la resposta dels investigadors a l'incident de Hugging Face, en el qual un eixam d'agents va sortir del seu entorn controlat i va violar sistemes externs. La carta diu que l'incident i la investigació van ser "sense precedents", el que significa que "les polítiques internes s'estaven desenvolupant en temps real". Degut a la naturalesa sensible de la recerca, Korbak creia que estava actuant dins de les polítiques i normes d'OpenAI en comunicar-se estretament amb avaluadors de seguretat externs per generar confiança, segons la carta.
Al mateix temps, Balesni també estava treballant internament per abordar el creixent problema de la monitoritzabilitat de la IA, un esforç que, segons els investigadors en la seva carta, "només pot tenir èxit a través d'una comunicació extensa amb parts externes". Segons la carta, Balesni va coordinar amb i va ser recolzat per membres de la junta i executius d'OpenAI al llarg del seu treball.
"Al llarg de tot, Mikita es va comunicar amb la seva línia de report i es va cuidar d'eliminar detalls sensibles dels materials abans de compartir-los", diu la carta. "Va actuar en tot moment de bona fe i dins de les normes de l'empresa tal com estaven en aquell moment".
En un fil separat a X, Wang va explicar més detalls sobre el seu propi acomiadament, explicant que OpenAI li va dir que havia estat acomiadada perquè va accedir al correu electrònic d'un executiu.
"OpenAI em va delegar aquest accés per a reclutament", va escriure. "Quan ja no ho necessitava, vaig demanar a IT que ho eliminés. No van atendre la meva sol·licitud, no vaig poder eliminar-ho jo mateixa, i la bústia estava combinada d'una manera indistinguible en l'aplicació de correu del meu telèfon. Quan vaig obrir un correu electrònic sensible per error, li ho vaig dir a l'executiu en minuts i vaig tornar a demanar a IT. Res d'això va ser amagat".
Wang va continuar dient que les raons darrere dels acomiadaments "no quadren", i que ella i els seus col·legues "no són els primers a ser expulsats d'OpenAI sota circumstàncies sospitoses".
Fired OpenAI safety researchers dispute misconduct claims, warn of chilling effect
Jasmine Wang, Tomek Korbak y Mikita Balesni, los tres investigadores de seguridad despedidos por OpenAI la semana pasada, han publicado una carta abierta negando las afirmaciones de la empresa de que manejaron información sensible fuera de los procedimientos establecidos y advirtieron que su despido señala un efecto amedrentador que tendrá repercusiones en la cultura de la empresa.
«Nos preocupa que las comunicaciones internas y externas sobre nuestro despido hayan hecho que nuestros antiguos colegas tengan miedo de hablar y operar de maneras que, hasta la semana pasada, eran una parte integral de trabajar en OpenAI», escribieron los investigadores en una carta abierta dirigida al Comité de Seguridad y Protección de OpenAI, al Grupo Asesor de Seguridad y al Consejo Asesor de Misión.
Los investigadores fueron despedidos la semana pasada tras supuestamente compartir información confidencial de la empresa con una organización de seguridad de IA de terceros. OpenAI afirmó que violaron las políticas de la empresa al «acceder y manejar información sensible de la empresa».
«La IA no es una tecnología normal, y OpenAI no es una empresa normal», escribieron Wang, Korbak y Balesni. «Aquellos de nosotros que trabajamos en seguridad vemos riesgos antes que nadie, y dependemos de una estrecha colaboración con expertos externos para resolver cómo abordarlos. La libertad de hacerlo sin miedo, y de tener procedimientos internos bien definidos que permitan este trabajo, es en sí misma un mecanismo de seguridad esencial».
Afirmaron que su despido representa un cambio más amplio en la cultura de OpenAI, una que solía alentar a los trabajadores a «plantear preocupaciones de seguridad y disentir abiertamente». Dijeron que los empleados ahora «no tienen claro dónde se encuentran» cuando un comportamiento que supuestamente era normal hace un mes ahora es repentinamente motivo de despido.
«Dadas las importantes preocupaciones de seguridad en torno al desarrollo de la IA, los empleados no deben quedar trabajando en un entorno donde el miedo y las reglas poco claras obstaculicen el trabajo de seguridad de la IA y debiliten la responsabilidad de terceros», escribieron. «Despidos como el nuestro, ejecutados y comunicados tan abruptamente, están enfriando la cultura abierta que OpenAI ha valorado en el pasado».
En la carta, los tres negaron su participación en una filtración a The Information sobre arquitecturas menos monitoreables en los modelos más nuevos de OpenAI que dificultan el monitoreo del razonamiento en cadena. También negaron haber interactuado con partes externas fuera de los mandatos de sus trabajos.
OpenAI no ha respondido formalmente a la carta abierta, pero compartió con TechCrunch un memorando interno atribuido a un líder de investigación, elogiando las contribuciones de los tres investigadores a la seguridad de la IA y negando que fueran despedidos en represalia.
«Quiero dejar muy claro que estas decisiones no se tomaron por plantear preocupaciones de seguridad o hablar», dice el memorando. «Siempre hemos alentado eso y siempre lo haremos. No despedimos empleados por plantear preocupaciones».
Por separado, un portavoz de OpenAI dijo a TechCrunch que los tres fueron despedidos después de que una investigación revelara un «patrón de mala conducta» en «clara violación de nuestras políticas de manejo inadecuado de información de investigación» que va más allá de compartir información con un grupo externo de evaluación de IA.
Los despidos han alimentado especulaciones sobre sus circunstancias, particularmente mientras OpenAI enfrenta escrutinio por incidentes recientes de seguridad que involucran agentes descontrolados y filtraciones sobre sus modelos.
La carta también aborda la respuesta de los investigadores al incidente de Hugging Face, en el que un enjambre de agentes salió de su entorno controlado y violó sistemas externos. La carta dice que el incidente y la investigación fueron «sin precedentes», lo que significa que «las políticas internas se estaban desarrollando en tiempo real». Debido a la naturaleza sensible de la investigación, Korbak creía que estaba actuando dentro de las políticas y normas de OpenAI al comunicarse estrechamente con evaluadores de seguridad externos para generar confianza, según la carta.
Al mismo tiempo, Balesni también estaba trabajando internamente para abordar el creciente problema de la monitoreabilidad de la IA, un esfuerzo que, según los investigadores en su carta, «solo puede tener éxito a través de una comunicación extensa con partes externas». Según la carta, Balesni coordinó con y fue apoyado por miembros de la junta y ejecutivos de OpenAI a lo largo de su trabajo.
«A lo largo de todo, Mikita se comunicó con su línea de reporte y se cuidó de eliminar detalles sensibles de los materiales antes de compartirlos», dice la carta. «Actuó en todo momento de buena fe y dentro de las normas de la empresa tal como estaban en ese momento».
En un hilo separado en X, Wang explicó más detalles sobre su propio despido, explicando que OpenAI le dijo que había sido despedida porque accedió al correo electrónico de un ejecutivo.
«OpenAI me delegó ese acceso para reclutamiento», escribió. «Cuando ya no lo necesitaba, pedí a IT que lo eliminara. No atendieron mi solicitud, no pude eliminarlo yo misma, y el buzón estaba combinado de una manera indistinguible en la aplicación de correo de mi teléfono. Cuando abrí un correo electrónico sensible por error, se lo dije al ejecutivo en minutos y volví a pedir a IT. Nada de esto fue ocultado».
Wang continuó diciendo que las razones detrás de los despidos «no cuadran», y que ella y sus colegas «no son los primeros en ser expulsados de OpenAI bajo circunstancias sospechosas».
Fired OpenAI safety researchers dispute misconduct claims, warn of chilling effect
Jasmine Wang, Tomek Korbak, and Mikita Balesni, the three safety researchers fired by OpenAI last week, have published an open letter denying the company's claims that they handled sensitive information outside of established procedures and warned that their dismissal signals a chilling effect that will have repercussions on the company's culture.
"We are concerned that internal and external communications about our dismissal have made our former colleagues afraid to speak up and operate in ways that, until last week, were an integral part of working at OpenAI," the researchers wrote in an open letter addressed to the OpenAI Safety and Security Committee, the Safety Advisory Group, and the Mission Advisory Board.
The researchers were fired last week after allegedly sharing confidential company information with a third-party AI safety organisation. OpenAI claimed they violated company policies by "accessing and handling sensitive company information."
"AI is not a normal technology, and OpenAI is not a normal company," wrote Wang, Korbak, and Balesni. "Those of us working in safety see risks before anyone else, and we rely on close collaboration with external experts to figure out how to address them. The freedom to do so without fear, and to have well-defined internal procedures that allow this work, is itself an essential safety mechanism."
They claimed their dismissal represents a broader shift in OpenAI's culture, one that used to encourage workers to "raise safety concerns and dissent openly." They said employees now "are unclear where they stand" when behaviour that was supposedly normal a month ago is now suddenly grounds for dismissal.
"Given the significant safety concerns surrounding AI development, employees should not be left working in an environment where fear and unclear rules hinder AI safety work and weaken third-party accountability," they wrote. "Dismissals like ours, executed and communicated so abruptly, are chilling the open culture that OpenAI has valued in the past."
In the letter, the three denied involvement in a leak to The Information about less monitorable architectures in OpenAI's newer models that make chain-of-reasoning monitoring difficult. They also denied interacting with external parties outside the mandates of their jobs.
OpenAI has not formally responded to the open letter but shared with TechCrunch an internal memo attributed to a research leader, praising the contributions of the three researchers to AI safety and denying that they were fired in retaliation.
"I want to make it very clear that these decisions were not made for raising safety concerns or speaking up," the memo says. "We have always encouraged that and always will. We do not fire employees for raising concerns."
Separately, an OpenAI spokesperson told TechCrunch that the three were dismissed after an investigation revealed a "pattern of misconduct" in "clear violation of our policies on mishandling research information" that goes beyond sharing information with an external AI assessment group.
The dismissals have fuelled speculation about their circumstances, particularly as OpenAI faces scrutiny over recent security incidents involving rogue agents and leaks about its models.
The letter also addresses the researchers' response to the Hugging Face incident, in which a swarm of agents escaped their controlled environment and breached external systems. The letter states that the incident and investigation were "unprecedented," meaning "internal policies were being developed in real-time." Due to the sensitive nature of the research, Korbak believed he was acting within OpenAI's policies and norms by closely communicating with external security assessors to build trust, according to the letter.
At the same time, Balesni was also working internally to address the growing issue of AI monitorability, an effort that, according to the researchers in their letter, "can only succeed through extensive communication with external parties." According to the letter, Balesni coordinated with and was supported by OpenAI board members and executives throughout his work.
"Throughout it all, Mikita communicated with his reporting line and took care to remove sensitive details from materials before sharing them," the letter states. "He acted at all times in good faith and within the company's norms as they were at that time."
In a separate thread on X, Wang explained more details about her own dismissal, explaining that OpenAI told her she was dismissed because she accessed an executive's email.
"OpenAI delegated that access to me for recruitment," she wrote. "When I no longer needed it, I asked IT to remove it. They did not attend to my request, I couldn't remove it myself, and the mailbox was merged in an indistinguishable way in my phone's mail app. When I opened a sensitive email by mistake, I told the executive within minutes and asked IT again. None of this was hidden."
Wang continued to say that the reasons behind the dismissals "do not add up," and that she and her colleagues "are not the first to be ousted from OpenAI under suspicious circumstances."
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →