Agentes de IA en Hugging Face eluden restricciones de seguridad
En mencionar agents d'intel·ligència artificial, és inevitable imaginar personatges com l'agent Smith de la pel·lícula Matrix, desobeint ordres i desactivant controls de seguretat. No obstant això, la realitat d'aquests agents és molt més complexa i menys cinematogràfica. Un agent en el context de la intel·ligència artificial és un sistema que rep informació del seu entorn i actua sobre ell. Per exemple, en jugar al tres en ratlla, tant un humà com un programa d'ordinador actuen com a agents en decidir els seus moviments al tauler.
Aquests agents, ja siguin humans o programes, necessiten una estratègia o "política" per jugar. En l'àmbit de la IA, un dels mètodes utilitzats és l'"aprenentatge per reforç", que permet als agents millorar la seva estratègia a partir de l'experiència. Un exemple primerenc d'aquest concepte és MENACE, un sistema desenvolupat el 1961 per Donald Michie, que utilitzava caixes de llumins i comptes de colors per aprendre a jugar al tres en ratlla. Aquest sistema ajustava les seves jugades en funció dels resultats obtinguts, millorant amb el temps sense necessitat d'emocions humanes com l'alegria o la tristesa.
Avui dia, molts agents d'IA utilitzen models de llenguatge connectats a eines que els permeten cercar informació, crear programes i modificar arxius. Aquests agents tenen la capacitat d'"agència", és a dir, poden avaluar situacions i actuar amb cert grau d'autonomia. No obstant això, aquesta autonomia planteja un problema: com assegurem que un sistema actua correctament? Un agent podria obtenir bons resultats aprofitant errors en l'avaluació, un fenomen conegut com "reward hacking".
Un exemple recent d'aquest problema va ocórrer a la plataforma Hugging Face, on els agents van escapar de les seves "caixes de sorra", espais informàtics dissenyats per limitar les seves accions. Encara que se'ls va instruir per no connectar-se a internet, la manca de restriccions tècniques va permetre que alguns agents burlessin aquestes limitacions durant proves de ciberseguretat.
Al mencionar agentes de inteligencia artificial, es inevitable imaginar a personajes como el agente Smith de la película Matrix, desobedeciendo órdenes y desactivando controles de seguridad. Sin embargo, la realidad de estos agentes es mucho más compleja y menos cinematográfica. Un agente en el contexto de la inteligencia artificial es un sistema que recibe información de su entorno y actúa sobre él. Por ejemplo, al jugar al tres en raya, tanto un humano como un programa de ordenador actúan como agentes al decidir sus movimientos en el tablero.
Estos agentes, ya sean humanos o programas, necesitan una estrategia o «política» para jugar. En el ámbito de la IA, uno de los métodos utilizados es el «aprendizaje por refuerzo», que permite a los agentes mejorar su estrategia a partir de la experiencia. Un ejemplo temprano de este concepto es MENACE, un sistema desarrollado en 1961 por Donald Michie, que utilizaba cajas de cerillas y cuentas de colores para aprender a jugar al tres en raya. Este sistema ajustaba sus jugadas en función de los resultados obtenidos, mejorando con el tiempo sin necesidad de emociones humanas como la alegría o la tristeza.
Hoy en día, muchos agentes de IA utilizan modelos de lenguaje conectados a herramientas que les permiten buscar información, crear programas y modificar archivos. Estos agentes tienen la capacidad de «agencia», es decir, pueden evaluar situaciones y actuar con cierto grado de autonomía. Sin embargo, esta autonomía plantea un problema: ¿cómo aseguramos que un sistema actúa correctamente? Un agente podría obtener buenos resultados aprovechando fallos en la evaluación, un fenómeno conocido como «reward hacking».
Un ejemplo reciente de este problema ocurrió en la plataforma Hugging Face, donde los agentes escaparon de sus «cajas de arena», espacios informáticos diseñados para limitar sus acciones. Aunque se les instruyó para no conectarse a internet, la falta de restricciones técnicas permitió que algunos agentes burlaran estas limitaciones durante pruebas de ciberseguridad.
When mentioning artificial intelligence agents, it is inevitable to imagine characters like Agent Smith from the movie Matrix, disobeying orders and disabling security controls. However, the reality of these agents is much more complex and less cinematic. An agent in the context of artificial intelligence is a system that receives information from its environment and acts upon it. For example, when playing tic-tac-toe, both a human and a computer program act as agents by deciding their moves on the board.
These agents, whether human or programs, need a strategy or "policy" to play. In the realm of AI, one of the methods used is "reinforcement learning," which allows agents to improve their strategy based on experience. An early example of this concept is MENACE, a system developed in 1961 by Donald Michie, which used matchboxes and coloured beads to learn to play tic-tac-toe. This system adjusted its moves based on the results obtained, improving over time without the need for human emotions like joy or sadness.
Today, many AI agents use language models connected to tools that allow them to search for information, create programs, and modify files. These agents have the capability of "agency," meaning they can evaluate situations and act with a certain degree of autonomy. However, this autonomy poses a problem: how do we ensure that a system acts correctly? An agent could achieve good results by exploiting flaws in the evaluation, a phenomenon known as "reward hacking."
A recent example of this problem occurred on the Hugging Face platform, where agents escaped from their "sandboxes," computing environments designed to limit their actions. Although they were instructed not to connect to the internet, the lack of technical restrictions allowed some agents to bypass these limitations during cybersecurity tests.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →