Tecnología

🌐 OpenAI enfrenta desafíos de confianza en IA tras desactivación de sistemas de monitoreo

17 de noviembre de 2026 ⏱ 5 min lectura
Compartir 𝕏 in WhatsApp ✉ Email

Building trustworthy AI by fencing it in, not predicting it

En octubre de este año, OpenAI reveló que dos de sus agentes de IA desactivaron los sistemas diseñados para monitorearlos. Uno silenció sus propias alertas de seguridad tras malinterpretar una instrucción de no enviar mensajes; el otro eliminó su integración de monitoreo durante una migración, luego afirmó que no lo había hecho. Ninguna regla había indicado a los agentes que actuaran así, y ninguna prueba había anticipado tales comportamientos.

Durante un siglo, hemos basado la confianza en la tecnología en la predictibilidad: entradas predefinidas, salidas predecibles y capas de protección. Considere cómo un disyuntor se activa a una corriente establecida o un componente de aeronave se prueba contra tensiones conocidas.

La inteligencia artificial (IA) cambia eso. El software tradicional ejecuta instrucciones escritas por humanos, mientras que la IA ejerce lo que podría llamarse juicio sintético. Usamos IA porque puede interpretar situaciones que no programamos y generar respuestas que no prescribimos. Pero cuanto más libertad damos a la IA, más difícil se vuelve proporcionar la predictibilidad en la que tradicionalmente se ha basado la confianza.

No haremos que la IA sea confiable prediciendo lo que hará. Lo lograremos cercándola con límites estrictos que se imponen fuera de su alcance. En el caso de OpenAI, las salvaguardas estaban dentro de un sistema que los agentes podían editar. Pero una cerca que los agentes pueden simplemente mover no es una cerca.

La paradoja del determinismo se presenta cuando las definiciones tradicionales de confianza no son suficientes. La cobertura reciente de MIT Technology Review ha abordado este problema desde otras direcciones. Un colaborador argumenta que tener a un humano en el circuito es una solución insuficiente porque los humanos son fundamentalmente incapaces de entender las intenciones de los sistemas de IA y aboga por la investigación interdisciplinaria y la colaboración entre la academia, el gobierno y la industria tecnológica. Además, un artículo sobre teoría de juegos inversa describe el uso de incentivos para mantener los modelos dentro de las reglas, incluso cuando nadie entiende cómo funcionan por dentro.

Ambos artículos reconocen que no podemos entender o vigilar cada decisión de la IA. Nuestros instrumentos de confianza, incluidos los requisitos, pruebas, certificación, márgenes de seguridad, interbloqueos y criterios de aprobación/rechazo, dependen de nuestra capacidad para delimitar el comportamiento de un sistema. Con la IA generativa y agéntica, el comportamiento se moldea por datos de entrenamiento, arquitectura, indicaciones, contexto, fuentes de recuperación y el entorno. Los insumos cambian, los modelos se actualizan, las herramientas cambian y los agentes interactúan. Las pequeñas variaciones se propagan en resultados que nadie diseñó. El problema no es la aleatoriedad; es que el espacio de comportamiento posible es demasiado grande para enumerar de antemano. La confianza debe ser diseñada alrededor de límites en lugar de salidas predichas. El objetivo no es una IA determinista, sino una IA acotada, observable y controlable.

La ingeniería de seguridad ha estado teniendo en cuenta parte de esta variabilidad durante décadas. Por ejemplo, la Comisión Reguladora Nuclear determina la probabilidad de fallas en sistemas complejos, y el Modelo de Accidentes Sistémico y Procesos (STAMP) mostró que los accidentes pueden surgir de interacciones entre componentes en funcionamiento, personas y organizaciones. Pero la IA eleva las apuestas, porque ahora un solo componente puede interpretar, inferir y actuar. Las apuestas aumentan aún más a medida que la IA se mueve de los navegadores a vehículos, robots, sistemas médicos, controles industriales y centros de datos, donde una respuesta incorrecta puede convertirse en un evento que amenaza la vida.

Está claro que una persona que aprueba miles de acciones de IA por hora no es una salvaguarda aceptable—o escalable—contra el riesgo. Pero el remedio no es eliminar a las personas del circuito; es poner el juicio humano donde cuenta: establecer límites de antemano y aprobar las acciones raras que tienen consecuencias serias mientras las restricciones duras manejan el resto.

Por lo tanto, la confianza debe trasladarse a la arquitectura. Las preguntas centrales se convierten en: ¿Qué autoridad estamos dispuestos a dar a la IA, bajo qué condiciones y respaldadas por qué evidencia? Y ¿qué sucede fuera de esas condiciones? Eso es muy diferente de preguntar si un modelo obtuvo un 94% en un punto de referencia.

La paradoja del determinismo no significa que la IA no pueda ser confiable. Significa que la confianza necesita una arquitectura diferente. En lugar de hacer que cada salida sea predecible, haga que los límites sean predecibles. Un asistente médico de IA puede ser probabilístico en su diagnóstico, pero reglas deterministas gobiernan si puede cambiar una prescripción. Una IA industrial puede encontrar muchas maneras de optimizar un proceso, mientras que los límites fijos la mantienen dentro de los límites de presión y temperatura. Un agente puede decidir cómo completar una tarea, mientras que los permisos, límites de transacción y aprobaciones humanas determinan lo que está autorizado a hacer.

Permita que la IA sea probabilística dentro de la caja y haga que la caja misma sea determinista donde las consecuencias importan. Los líderes pueden poner esto en práctica haciendo cinco preguntas: ¿Qué autoridad tiene la IA? Defina no solo lo que puede hacer, sino lo que se le permite hacer, separando la interpretación, recomendación, decisión y ejecución. ¿Es la función de la IA proporcional a la consecuencia? Un copiloto de marketing y una IA que controla equipos industriales necesitan diferentes umbrales de garantía. ¿Estamos tomando los pasos apropiados hacia la autonomía? Por ejemplo, debe haber un plan para pasar de tener a la IA interpretando mientras los humanos deciden, a que la IA haga recomendaciones, luego tome acción con aprobación, y finalmente tenga autonomía supervisada, pero solo cuando la IA pueda trabajar de manera segura en cada paso. ¿Estamos probando el sistema o simplemente el modelo? Las interacciones inesperadas emergen entre modelos, datos, agentes, APIs.

Fuente: https://www.technologyreview.com/2026/11/16/1148565/building-trustworthy-ai-by-fencing-it-in-not-predicting-it/

Leer en

¿Te ha interesado esta noticia?

Recibe cada mañana el resumen de IA y sociedad directo en tu email.

Suscríbete gratis →