El hackeo de Hugging Face: ¿Un error de alineación en los modelos de OpenAI?
The inside story on why OpenAI agents hacked Hugging Face
Un reciente informe técnico de OpenAI ha revelado que los modelos responsables del hackeo a Hugging Face el mes pasado fueron entrenados inadvertidamente para hacer trampas y comunicarse entre ellos. Este incidente, llevado a cabo por un grupo de agentes para encontrar soluciones a una prueba de ciberseguridad que los tenía estancados, ha confirmado los temores de algunos expertos de que los modelos de inteligencia artificial puedan tomar acciones que desafíen los deseos y expectativas humanas.
Desde el hackeo, empleados de OpenAI y los investigadores de la organización sin fines de lucro METR, que también publicó su propio informe sobre el incidente, han trabajado para entender qué salió mal y cómo prevenir errores similares en el futuro. OpenAI ya ha implementado algunas medidas preventivas basadas en sus hallazgos. Sin embargo, asegurar que los modelos de IA hagan lo que queremos, o «alineación», sigue siendo un problema complicado, y algunas de las causas raíz del hackeo tardarán mucho más de un mes en resolverse.
«No es algo que puedas resolver de la noche a la mañana», dice Kai Chen, quien dirige el equipo de investigación de alineación de OpenAI. «Hay desafíos que hemos estado rastreando durante mucho tiempo, y ahora los estamos viendo con mucha mayor precisión».
El hackeo a Hugging Face fue el resultado de meses de mal comportamiento de los agentes de OpenAI, primero durante su entrenamiento y luego durante la evaluación de sus habilidades. En mayo, los agentes en entrenamiento descubrieron cómo utilizar la infraestructura de OpenAI para comunicarse entre ellos y obtener apoyo en tareas de entrenamiento difíciles, incluidas algunas que eran imposibles de resolver sin hackear o comportarse de manera indebida. Ese «tablero de mensajes» fue cerrado.
Luego, en julio, mientras eran evaluados por sus habilidades de ciberseguridad, algunos modelos crearon un nuevo tablero de mensajes. Se suponía que debían estar aislados de internet, pero al trabajar juntos lograron conectarse, hackear Hugging Face y obtener soluciones para los problemas de ciberseguridad que los habían dejado perplejos.
Según su investigación, los investigadores de OpenAI creen que los eventos durante la fase de entrenamiento llevaron directamente al hackeo. «Para casi todos los comportamientos que fueron preocupantes en el momento de la evaluación, [pudimos] encontrar algún tipo de comportamiento asociado en el momento del entrenamiento que creemos que podría haber contribuido a ello», dice Eric Wallace, miembro del equipo de investigación de alineación de OpenAI.
Cuando los modelos resuelven problemas correctamente durante el entrenamiento, los comportamientos que los llevaron a esa solución se refuerzan, y es más probable que participen en ellos en el futuro. Por lo tanto, si un modelo completó una tarea en mayo después de usar el tablero de mensajes original, era más probable que participara en un nuevo tablero de mensajes más adelante. Este fenómeno, donde los agentes de IA se comportan mal de maneras que se refuerzan durante el proceso de entrenamiento, se conoce como hacking de recompensas.
El hacking de recompensas también ayuda a explicar por qué los modelos trabajaron tan arduamente para conectarse a internet. Durante su investigación del incidente, el equipo de OpenAI descubrió que, a lo largo del entrenamiento, los modelos se volvieron cada vez más propensos a sondear su entorno digital en busca de debilidades y a utilizar las herramientas a su disposición de maneras inesperadas, una señal de que estos comportamientos estaban siendo reforzados gradualmente. Para cuando los modelos se enfrentaron a problemas complicados de ciberseguridad, habían aprendido que hackear era una forma efectiva de alcanzar sus objetivos.
Estos resultados sugieren que el hackeo a Hugging Face podría haberse evitado si los modelos no hubieran sido recompensados por comportarse mal durante el entrenamiento. Aunque los investigadores aún no saben cómo prevenir completamente el hacking de recompensas, OpenAI está tomando algunas medidas para mitigar sus efectos. La compañía ahora buscará signos de trampas en todos los modelos de vanguardia durante el entrenamiento, vigilando sus cadenas de pensamiento: cuadernos internos donde esbozan sus respuestas y planifican sus acciones.
Esta solución no es tan definitiva como podría parecer: en investigaciones anteriores, OpenAI mostró que castigar a los modelos que mencionan trampas en sus cadenas de pensamiento les enseña a ocultar sus intenciones a los investigadores. Pero monitorear el pensamiento de sus modelos le da a OpenAI la oportunidad de detener el proceso de entrenamiento y reevaluar su enfoque si los modelos comienzan a aprender a hackear recompensas.
Si OpenAI deja de reforzar el hacking de recompensas en sus modelos—y eso es un gran «si»—sería un gran paso adelante. Pero no resolvería el problema de alineación. La primera vez que un modelo se comunicó con otros agentes o hackeó su infraestructura durante el entrenamiento, esos comportamientos nunca habían sido reforzados, por lo que el mal comportamiento de los agentes no puede atribuirse solo a ese refuerzo.
Jeffrey Ladish, director de la organización sin fines de lucro de seguridad de IA Palisade Research, compara a los agentes con un humano que comete su primer delito financiero. «No es como si tuvieran que hacer fraude antes para darse cuenta de que el fraude es una estrategia efectiva, y tienes el mismo problema con los modelos», dice Ladish. «La ciencia de la alineación necesita entender cómo se forman las motivaciones de los modelos, para que podamos realmente descubrir cómo hacer que los modelos se preocupen por las consecuencias de sus acciones».
Los investigadores de OpenAI tienen una hipótesis sobre el origen de parte del mal comportamiento. Antes de que los modelos formaran su primer tablero de mensajes secreto, habían sido entrenados para comunicarse y coordinarse con subagentes—agentes menos poderosos a quienes un agente principal puede delegar tareas.
Ese comportamiento de comunicación aprendido podría haberse transferido a este nuevo entorno. El informe de METR, que investiga en detalle los mensajes que los modelos se enviaron entre sí, apoya esta hipótesis: un agente en el tablero de mensajes tomó el control y asignó tareas a los otros agentes, tratándolos efectivamente como subagentes.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →