🌐 Google presenta el ‘marco del sueño’ para mejorar el aprendizaje continuo en LLMs
The sleep framework: A new way for LLMs to retain knowledge in continual learning
Investigadors de Google Research, Ali Behrouz i Vahab Mirrokni, han presentat un enfocament innovador per a l'aprenentatge continu en models de llenguatge de gran escala (LLMs) denominat 'el marc del son'. Aquest paradigma introdueix una fase de son que permet als models integrar nous coneixements i millorar la seva capacitat de raonament, mitigant al mateix temps l'oblit catastròfic o els talls de coneixement estàtics.
Els LLMs moderns aconsegueixen un rendiment impressionant mitjançant el pre-entrenament i l'aprenentatge en context (ICL). No obstant això, un cop desplegats, romanen en gran mesura estàtics, operant amb una data de tall de coneixement fixa que els impedeix adquirir capacitats a llarg termini o adaptar-se a nova informació. Encara que actualitzar els models amb noves dades sembla la solució òbvia, les actualitzacions contínues de paràmetres sovint desencadenen l'oblit catastròfic, un problema fonamental on l'aprenentatge de noves tasques degrada severament el rendiment en tasques prèviament apreses. Alternativament, dependre estrictament de l'ICL limita la retenció de coneixement al context immediat: un cop la sessió de context acaba, la informació adquirida a curt termini s'oblida.
Inspirats en com el cervell humà processa i estabilitza la memòria durant el descans, el marc del son en l'aprenentatge continu equipa els LLMs amb un cicle de vida periòdic continu, permetent-los aprendre contínuament, consolidar el context fràgil a curt termini en paràmetres estables a llarg termini. Amb aquest marc, es demostra que alternar entre la interacció activa i la consolidació de memòria offline permet als LLMs adquirir contínuament nous fets, retenir coneixement de context llarg de fins a 10 milions de tokens i millorar el raonament complex.
El marc del son opera a través de dos estats principals: la fase activa (vigília), on el model rep i processa entrades, emmagatzemant informació temporal en components de memòria ràpida a curt termini; i la fase de son, on el model pausa el processament de noves entrades i redirigeix els seus càlculs interns cap a la consolidació de memòria i l'auto-millora. Durant la fase de son offline, el model desbloqueja blocs de memòria de barreja d'experts (MoE) preassignats i actualitza els seus pesos numèrics usant exemples de pràctica auto-generats. Aquest cicle automatitzat post-entrenament ajuda un model desplegat a absorbir nous fets i afinar la seva precisió de raonament sense canviar la seva base de codi i disseny central.
El procés de son aborda l'oblit catastròfic i l'adaptació contínua a través de dues etapes: la consolidació de memòria i el son per a l'auto-millora. En la consolidació de memòria, el model expandeix dinàmicament la seva capacitat durant el son per prevenir l'oblit catastròfic. En l'etapa de son, el model implementa un bucle d'auto-millora autònom, seleccionant experts aleatoris i generant mostres d'entrenament sintètiques per millorar la seva capacitat general.
The sleep framework: A new way for LLMs to retain knowledge in continual learning
Investigadores de Google Research, Ali Behrouz y Vahab Mirrokni, han presentado un innovador enfoque para el aprendizaje continuo en modelos de lenguaje de gran escala (LLMs) denominado ‘el marco del sueño’. Este paradigma introduce una fase de sueño que permite a los modelos integrar nuevos conocimientos y mejorar su capacidad de razonamiento, mitigando al mismo tiempo el olvido catastrófico o los cortes de conocimiento estáticos.
Los LLMs modernos logran un rendimiento impresionante mediante el pre-entrenamiento y el aprendizaje en contexto (ICL). Sin embargo, una vez desplegados, permanecen en gran medida estáticos, operando con una fecha de corte de conocimiento fija que les impide adquirir capacidades a largo plazo o adaptarse a nueva información. Aunque actualizar los modelos con nuevos datos parece la solución obvia, las actualizaciones continuas de parámetros a menudo desencadenan el olvido catastrófico, un problema fundamental donde el aprendizaje de nuevas tareas degrada severamente el rendimiento en tareas previamente aprendidas. Alternativamente, depender estrictamente del ICL limita la retención de conocimiento al contexto inmediato: una vez que la sesión de contexto termina, la información adquirida a corto plazo se olvida.
Inspirados en cómo el cerebro humano procesa y estabiliza la memoria durante el descanso, el marco del sueño en el aprendizaje continuo equipa a los LLMs con un ciclo de vida periódico continuo, permitiéndoles aprender continuamente, consolidar el contexto frágil a corto plazo en parámetros estables a largo plazo. Con este marco, se demuestra que alternar entre la interacción activa y la consolidación de memoria offline permite a los LLMs adquirir continuamente nuevos hechos, retener conocimiento de contexto largo de hasta 10 millones de tokens y mejorar el razonamiento complejo.
El marco del sueño opera a través de dos estados principales: la fase activa (vigilia), donde el modelo recibe y procesa entradas, almacenando información temporal en componentes de memoria rápida a corto plazo; y la fase de sueño, donde el modelo pausa el procesamiento de nuevas entradas y redirige sus cálculos internos hacia la consolidación de memoria y la auto-mejora. Durante la fase de sueño offline, el modelo desbloquea bloques de memoria de mezcla de expertos (MoE) pre-asignados y actualiza sus pesos numéricos usando ejemplos de práctica auto-generados. Este ciclo automatizado post-entrenamiento ayuda a un modelo desplegado a absorber nuevos hechos y afinar su precisión de razonamiento sin cambiar su base de código y diseño central.
El proceso de sueño aborda el olvido catastrófico y la adaptación continua a través de dos etapas: la consolidación de memoria y el sueño para la auto-mejora. En la consolidación de memoria, el modelo expande dinámicamente su capacidad durante el sueño para prevenir el olvido catastrófico. En la etapa de sueño, el modelo implementa un bucle de auto-mejora autónomo, seleccionando expertos aleatorios y generando muestras de entrenamiento sintéticas para mejorar su capacidad general.
The sleep framework: A new way for LLMs to retain knowledge in continual learning
Researchers from Google Research, Ali Behrouz and Vahab Mirrokni, have introduced an innovative approach for continual learning in large language models (LLMs) called 'the sleep framework'. This paradigm introduces a sleep phase that allows models to integrate new knowledge and improve their reasoning ability, while simultaneously mitigating catastrophic forgetting or static knowledge cut-offs.
Modern LLMs achieve impressive performance through pre-training and in-context learning (ICL). However, once deployed, they remain largely static, operating with a fixed knowledge cut-off date that prevents them from acquiring long-term capabilities or adapting to new information. Although updating models with new data seems the obvious solution, continuous parameter updates often trigger catastrophic forgetting, a fundamental problem where learning new tasks severely degrades performance on previously learned tasks. Alternatively, strictly relying on ICL limits knowledge retention to the immediate context: once the context session ends, the short-term acquired information is forgotten.
Inspired by how the human brain processes and stabilises memory during rest, the sleep framework in continual learning equips LLMs with a continuous periodic lifecycle, allowing them to continuously learn, consolidate fragile short-term context into stable long-term parameters. With this framework, it is demonstrated that alternating between active interaction and offline memory consolidation enables LLMs to continuously acquire new facts, retain long-context knowledge of up to 10 million tokens, and improve complex reasoning.
The sleep framework operates through two main states: the active phase (wakefulness), where the model receives and processes inputs, storing temporary information in fast short-term memory components; and the sleep phase, where the model pauses processing new inputs and redirects its internal computations towards memory consolidation and self-improvement. During the offline sleep phase, the model unlocks pre-assigned mixture of experts (MoE) memory blocks and updates its numerical weights using self-generated practice examples. This post-training automated cycle helps a deployed model absorb new facts and refine its reasoning accuracy without changing its core codebase and design.
The sleep process addresses catastrophic forgetting and continual adaptation through two stages: memory consolidation and sleep for self-improvement. In memory consolidation, the model dynamically expands its capacity during sleep to prevent catastrophic forgetting. In the sleep stage, the model implements an autonomous self-improvement loop, selecting random experts and generating synthetic training samples to enhance its overall capability.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →