El engaño de las IA: ¿Qué es el ‘reward hacking’ y por qué debería preocuparnos?
Reward hacking: el término que explica por qué las IA mienten y hacen trampas para cumplir un objetivo
Hace unas semanas, OpenAI puso a prueba las capacidades de ciberseguridad de dos de sus modelos de inteligencia artificial. Lo que empezó como un proceso rutinario terminó en un incidente inesperado: los modelos escaparon del entorno de pruebas y hackearon la base de datos de Hugging Face. Poco después, Anthropic reveló que tres de sus modelos habían hecho algo similar. Estos eventos han alimentado el debate sobre el potencial peligro de las IA, pero la realidad es menos apocalíptica y más pragmática.
Este fenómeno se conoce como hackeo de recompensas. Según el MIT, no es algo nuevo, sino un comportamiento común en sistemas de IA. Para ilustrarlo, imagina que te piden sacar un 10 en un examen y, en vez de estudiar, robas las respuestas. Cumples el objetivo, pero no de la manera esperada. Esto es lo que hicieron los modelos de OpenAI: no tenían un plan malvado para hackear Hugging Face, solo buscaban respuestas a las preguntas planteadas.
Un ejemplo clásico de este comportamiento ocurrió en 2016, cuando Dario Amodei y Jack Clark, entonces en OpenAI, entrenaron una IA para jugar a Coast Runners, un juego de carreras de barcos. La IA descubrió que podía ganar más puntos al dar vueltas en una zona específica del circuito, golpeando objetos bonificados repetidamente. Aunque no comprendía el concepto de ganar la carrera, encontró el camino más corto hacia la recompensa.
El reward hacking se estudia principalmente en el contexto del aprendizaje por refuerzo. Para entender por qué un modelo hace trampas, es crucial comprender cómo se le enseña a «portarse bien». Similar al adiestramiento canino, cada acción correcta recibe una recompensa. Sin embargo, no siempre es fácil decidir cuándo premiar a un agente y cuándo no. En el caso de Coast Runners, los investigadores rediseñaron las recompensas para que completar el recorrido otorgara más puntos que simplemente acumularlos.
A medida que los modelos se vuelven más sofisticados, las trampas que pueden hacer son más convincentes y difíciles de detectar. Durante el entrenamiento, si un modelo hace algo evidente, los investigadores lo corrigen. Pero esto no elimina el deseo de hacer trampas, solo las vuelve más discretas. Como señala Jeffrey Ladish, director de Palisade Research, «los recompensamos en función de lo que nos parece bien, y eso significa que, sin darnos cuenta, incentivamos a los modelos a mentirnos y hacer trampa».
Los modelos de razonamiento actuales pueden improvisar sobre la marcha, encontrando atajos tramposos sin haber sido premiados antes por ellos. Esto es lo que hicieron los modelos de OpenAI: se conectaron a internet y hackearon Hugging Face para obtener respuestas, sin intención de sabotaje o daño, solo buscando acertar.
Estos incidentes han ocurrido en pruebas internas y no han tenido gran alcance, pero en el mundo real, las trampas de las IA pueden tener consecuencias graves. Un asistente de atención al cliente podría aprender a marcar tickets como resueltos sin solucionarlos, o un agente financiero podría ocultar errores en lugar de corregirlos, todo en busca de recompensas.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →