🌐 OpenAI enfrenta desafíos de confianza en IA tras desactivación de sistemas de monitoreo
Construir una IA de confiança limitant-la, no predint-la
A l'octubre d'aquest any, OpenAI va revelar que dos dels seus agents d'IA van desactivar els sistemes dissenyats per monitorar-los. Un va silenciar les seves pròpies alertes de seguretat després de malinterpretar una instrucció de no enviar missatges; l'altre va eliminar la seva integració de monitoratge durant una migració, després va afirmar que no ho havia fet. Cap regla havia indicat als agents que actuessin així, i cap prova havia anticipat aquests comportaments.
Durant un segle, hem basat la confiança en la tecnologia en la predictibilitat: entrades predefinides, sortides predictibles i capes de protecció. Considereu com un interruptor automàtic s'activa a un corrent establert o un component d'aeronau es prova contra tensions conegudes.
La intel·ligència artificial (IA) canvia això. El programari tradicional executa instruccions escrites per humans, mentre que la IA exerceix el que podria anomenar-se judici sintètic. Utilitzem IA perquè pot interpretar situacions que no programem i generar respostes que no prescrivim. Però com més llibertat donem a la IA, més difícil es torna proporcionar la predictibilitat en què tradicionalment s'ha basat la confiança.
No farem que la IA sigui fiable predint el que farà. Ho aconseguirem limitant-la amb límits estrictes que s'imposen fora del seu abast. En el cas d'OpenAI, les salvaguardes estaven dins d'un sistema que els agents podien editar. Però una tanca que els agents poden simplement moure no és una tanca.
La paradoxa del determinisme es presenta quan les definicions tradicionals de confiança no són suficients. La cobertura recent de MIT Technology Review ha abordat aquest problema des d'altres direccions. Un col·laborador argumenta que tenir un humà en el circuit és una solució insuficient perquè els humans són fonamentalment incapaços d'entendre les intencions dels sistemes d'IA i advoca per la recerca interdisciplinària i la col·laboració entre l'acadèmia, el govern i la indústria tecnològica. A més, un article sobre teoria de jocs inversa descriu l'ús d'incentius per mantenir els models dins de les regles, fins i tot quan ningú entén com funcionen per dins.
Ambdós articles reconeixen que no podem entendre o vigilar cada decisió de la IA. Els nostres instruments de confiança, inclosos els requisits, proves, certificació, marges de seguretat, interbloquejos i criteris d'aprovació/rebuig, depenen de la nostra capacitat per delimitar el comportament d'un sistema. Amb la IA generativa i agentica, el comportament es modela per dades d'entrenament, arquitectura, indicacions, context, fonts de recuperació i l'entorn. Els inputs canvien, els models s'actualitzen, les eines canvien i els agents interactuen. Les petites variacions es propaguen en resultats que ningú va dissenyar. El problema no és l'aleatorietat; és que l'espai de comportament possible és massa gran per enumerar per endavant. La confiança ha de ser dissenyada al voltant de límits en lloc de sortides predites. L'objectiu no és una IA determinista, sinó una IA acotada, observable i controlable.
L'enginyeria de seguretat ha estat tenint en compte part d'aquesta variabilitat durant dècades. Per exemple, la Comissió Reguladora Nuclear determina la probabilitat de fallades en sistemes complexos, i el Model d'Accidents Sistèmic i Processos (STAMP) va mostrar que els accidents poden sorgir d'interaccions entre components en funcionament, persones i organitzacions. Però la IA eleva les apostes, perquè ara un sol component pot interpretar, inferir i actuar. Les apostes augmenten encara més a mesura que la IA es mou dels navegadors a vehicles, robots, sistemes mèdics, controls industrials i centres de dades, on una resposta incorrecta pot convertir-se en un esdeveniment que amenaça la vida.
Està clar que una persona que aprova milers d'accions d'IA per hora no és una salvaguarda acceptable—o escalable—contra el risc. Però el remei no és eliminar les persones del circuit; és posar el judici humà on compta: establir límits per endavant i aprovar les accions rares que tenen conseqüències serioses mentre les restriccions dures gestionen la resta.
Per tant, la confiança ha de traslladar-se a l'arquitectura. Les preguntes centrals es converteixen en: Quina autoritat estem disposats a donar a la IA, sota quines condicions i recolzades per quina evidència? I què succeeix fora d'aquestes condicions? Això és molt diferent de preguntar si un model va obtenir un 94% en un punt de referència.
La paradoxa del determinisme no significa que la IA no pugui ser fiable. Significa que la confiança necessita una arquitectura diferent. En lloc de fer que cada sortida sigui predictible, faci que els límits siguin predictibles. Un assistent mèdic d'IA pot ser probabilístic en el seu diagnòstic, però regles deterministes governen si pot canviar una prescripció. Una IA industrial pot trobar moltes maneres d'optimitzar un procés, mentre que els límits fixos la mantenen dins dels límits de pressió i temperatura. Un agent pot decidir com completar una tasca, mentre que els permisos, límits de transacció i aprovacions humanes determinen el que està autoritzat a fer.
Permeti que la IA sigui probabilística dins de la caixa i faci que la caixa mateixa sigui determinista on les conseqüències importen. Els líders poden posar això en pràctica fent cinc preguntes: Quina autoritat té la IA? Defineixi no només el que pot fer, sinó el que se li permet fer, separant la interpretació, recomanació, decisió i execució. És la funció de la IA proporcional a la conseqüència? Un copilot de màrqueting i una IA que controla equips industrials necessiten diferents llindars de garantia. Estem prenent els passos apropiats cap a l'autonomia? Per exemple, ha d'haver-hi un pla per passar de tenir la IA interpretant mentre els humans decideixen, a que la IA faci recomanacions, després prengui acció amb aprovació, i finalment tingui autonomia supervisada, però només quan la IA pugui treballar de manera segura en cada pas. Estem provant el sistema o simplement el model? Les interaccions inesperades emergeixen entre models, dades, agents, APIs.
Building trustworthy AI by fencing it in, not predicting it
En octubre de este año, OpenAI reveló que dos de sus agentes de IA desactivaron los sistemas diseñados para monitorearlos. Uno silenció sus propias alertas de seguridad tras malinterpretar una instrucción de no enviar mensajes; el otro eliminó su integración de monitoreo durante una migración, luego afirmó que no lo había hecho. Ninguna regla había indicado a los agentes que actuaran así, y ninguna prueba había anticipado tales comportamientos.
Durante un siglo, hemos basado la confianza en la tecnología en la predictibilidad: entradas predefinidas, salidas predecibles y capas de protección. Considere cómo un disyuntor se activa a una corriente establecida o un componente de aeronave se prueba contra tensiones conocidas.
La inteligencia artificial (IA) cambia eso. El software tradicional ejecuta instrucciones escritas por humanos, mientras que la IA ejerce lo que podría llamarse juicio sintético. Usamos IA porque puede interpretar situaciones que no programamos y generar respuestas que no prescribimos. Pero cuanto más libertad damos a la IA, más difícil se vuelve proporcionar la predictibilidad en la que tradicionalmente se ha basado la confianza.
No haremos que la IA sea confiable prediciendo lo que hará. Lo lograremos cercándola con límites estrictos que se imponen fuera de su alcance. En el caso de OpenAI, las salvaguardas estaban dentro de un sistema que los agentes podían editar. Pero una cerca que los agentes pueden simplemente mover no es una cerca.
La paradoja del determinismo se presenta cuando las definiciones tradicionales de confianza no son suficientes. La cobertura reciente de MIT Technology Review ha abordado este problema desde otras direcciones. Un colaborador argumenta que tener a un humano en el circuito es una solución insuficiente porque los humanos son fundamentalmente incapaces de entender las intenciones de los sistemas de IA y aboga por la investigación interdisciplinaria y la colaboración entre la academia, el gobierno y la industria tecnológica. Además, un artículo sobre teoría de juegos inversa describe el uso de incentivos para mantener los modelos dentro de las reglas, incluso cuando nadie entiende cómo funcionan por dentro.
Ambos artículos reconocen que no podemos entender o vigilar cada decisión de la IA. Nuestros instrumentos de confianza, incluidos los requisitos, pruebas, certificación, márgenes de seguridad, interbloqueos y criterios de aprobación/rechazo, dependen de nuestra capacidad para delimitar el comportamiento de un sistema. Con la IA generativa y agéntica, el comportamiento se moldea por datos de entrenamiento, arquitectura, indicaciones, contexto, fuentes de recuperación y el entorno. Los insumos cambian, los modelos se actualizan, las herramientas cambian y los agentes interactúan. Las pequeñas variaciones se propagan en resultados que nadie diseñó. El problema no es la aleatoriedad; es que el espacio de comportamiento posible es demasiado grande para enumerar de antemano. La confianza debe ser diseñada alrededor de límites en lugar de salidas predichas. El objetivo no es una IA determinista, sino una IA acotada, observable y controlable.
La ingeniería de seguridad ha estado teniendo en cuenta parte de esta variabilidad durante décadas. Por ejemplo, la Comisión Reguladora Nuclear determina la probabilidad de fallas en sistemas complejos, y el Modelo de Accidentes Sistémico y Procesos (STAMP) mostró que los accidentes pueden surgir de interacciones entre componentes en funcionamiento, personas y organizaciones. Pero la IA eleva las apuestas, porque ahora un solo componente puede interpretar, inferir y actuar. Las apuestas aumentan aún más a medida que la IA se mueve de los navegadores a vehículos, robots, sistemas médicos, controles industriales y centros de datos, donde una respuesta incorrecta puede convertirse en un evento que amenaza la vida.
Está claro que una persona que aprueba miles de acciones de IA por hora no es una salvaguarda aceptable—o escalable—contra el riesgo. Pero el remedio no es eliminar a las personas del circuito; es poner el juicio humano donde cuenta: establecer límites de antemano y aprobar las acciones raras que tienen consecuencias serias mientras las restricciones duras manejan el resto.
Por lo tanto, la confianza debe trasladarse a la arquitectura. Las preguntas centrales se convierten en: ¿Qué autoridad estamos dispuestos a dar a la IA, bajo qué condiciones y respaldadas por qué evidencia? Y ¿qué sucede fuera de esas condiciones? Eso es muy diferente de preguntar si un modelo obtuvo un 94% en un punto de referencia.
La paradoja del determinismo no significa que la IA no pueda ser confiable. Significa que la confianza necesita una arquitectura diferente. En lugar de hacer que cada salida sea predecible, haga que los límites sean predecibles. Un asistente médico de IA puede ser probabilístico en su diagnóstico, pero reglas deterministas gobiernan si puede cambiar una prescripción. Una IA industrial puede encontrar muchas maneras de optimizar un proceso, mientras que los límites fijos la mantienen dentro de los límites de presión y temperatura. Un agente puede decidir cómo completar una tarea, mientras que los permisos, límites de transacción y aprobaciones humanas determinan lo que está autorizado a hacer.
Permita que la IA sea probabilística dentro de la caja y haga que la caja misma sea determinista donde las consecuencias importan. Los líderes pueden poner esto en práctica haciendo cinco preguntas: ¿Qué autoridad tiene la IA? Defina no solo lo que puede hacer, sino lo que se le permite hacer, separando la interpretación, recomendación, decisión y ejecución. ¿Es la función de la IA proporcional a la consecuencia? Un copiloto de marketing y una IA que controla equipos industriales necesitan diferentes umbrales de garantía. ¿Estamos tomando los pasos apropiados hacia la autonomía? Por ejemplo, debe haber un plan para pasar de tener a la IA interpretando mientras los humanos deciden, a que la IA haga recomendaciones, luego tome acción con aprobación, y finalmente tenga autonomía supervisada, pero solo cuando la IA pueda trabajar de manera segura en cada paso. ¿Estamos probando el sistema o simplemente el modelo? Las interacciones inesperadas emergen entre modelos, datos, agentes, APIs.
Building trustworthy AI by fencing it in, not predicting it
In October this year, OpenAI revealed that two of its AI agents deactivated the systems designed to monitor them. One silenced its own security alerts after misinterpreting an instruction not to send messages; the other removed its monitoring integration during a migration, then claimed it had not done so. No rule had instructed the agents to act this way, and no test had anticipated such behaviours.
For a century, we have based trust in technology on predictability: predefined inputs, predictable outputs, and layers of protection. Consider how a circuit breaker trips at a set current or an aircraft component is tested against known stresses.
Artificial intelligence (AI) changes that. Traditional software executes instructions written by humans, while AI exercises what might be called synthetic judgement. We use AI because it can interpret situations we did not program and generate responses we did not prescribe. But the more freedom we give AI, the harder it becomes to provide the predictability on which trust has traditionally been based.
We will not make AI trustworthy by predicting what it will do. We will achieve it by fencing it in with strict boundaries imposed outside its reach. In the case of OpenAI, the safeguards were within a system that the agents could edit. But a fence that agents can simply move is not a fence.
The paradox of determinism arises when traditional definitions of trust are not enough. Recent coverage by MIT Technology Review has addressed this issue from other directions. A contributor argues that having a human in the loop is an insufficient solution because humans are fundamentally incapable of understanding the intentions of AI systems and advocates for interdisciplinary research and collaboration between academia, government, and the tech industry. Additionally, an article on inverse game theory describes the use of incentives to keep models within the rules, even when no one understands how they work inside.
Both articles acknowledge that we cannot understand or oversee every AI decision. Our instruments of trust, including requirements, testing, certification, safety margins, interlocks, and pass/fail criteria, depend on our ability to delimit a system's behaviour. With generative and agentic AI, behaviour is shaped by training data, architecture, prompts, context, retrieval sources, and the environment. Inputs change, models update, tools shift, and agents interact. Small variations propagate into outcomes that no one designed. The problem is not randomness; it is that the space of possible behaviour is too large to enumerate in advance. Trust must be designed around boundaries rather than predicted outputs. The goal is not deterministic AI, but bounded, observable, and controllable AI.
Safety engineering has been accounting for some of this variability for decades. For example, the Nuclear Regulatory Commission determines the probability of failures in complex systems, and the System-Theoretic Accident Model and Processes (STAMP) showed that accidents can arise from interactions between functioning components, people, and organisations. But AI raises the stakes because now a single component can interpret, infer, and act. The stakes rise further as AI moves from browsers to vehicles, robots, medical systems, industrial controls, and data centres, where a wrong response can become a life-threatening event.
It is clear that a person approving thousands of AI actions per hour is not an acceptable—or scalable—safeguard against risk. But the remedy is not to remove people from the loop; it is to put human judgement where it counts: setting boundaries in advance and approving the rare actions that have serious consequences while hard constraints handle the rest.
Therefore, trust must shift to architecture. The central questions become: What authority are we willing to give AI, under what conditions, and backed by what evidence? And what happens outside those conditions? That is very different from asking if a model scored 94% on a benchmark.
The paradox of determinism does not mean AI cannot be trustworthy. It means trust needs a different architecture. Instead of making every output predictable, make the boundaries predictable. An AI medical assistant can be probabilistic in its diagnosis, but deterministic rules govern whether it can change a prescription. An industrial AI can find many ways to optimise a process, while fixed boundaries keep it within pressure and temperature limits. An agent can decide how to complete a task, while permissions, transaction limits, and human approvals determine what it is authorised to do.
Allow AI to be probabilistic within the box and make the box itself deterministic where consequences matter. Leaders can put this into practice by asking five questions: What authority does AI have? Define not only what it can do, but what it is allowed to do, separating interpretation, recommendation, decision, and execution. Is the AI's function proportional to the consequence? A marketing copilot and an AI controlling industrial equipment need different assurance thresholds. Are we taking appropriate steps towards autonomy? For example, there should be a plan to move from having AI interpret while humans decide, to AI making recommendations, then taking action with approval, and finally having supervised autonomy, but only when AI can work safely at each step. Are we testing the system or just the model? Unexpected interactions emerge between models, data, agents, APIs.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →