Sergi Marcén · CUANDO UNA MÁQUINA APRENDE A MENTIR

Estos dias hemos leido alarmados sobre el caso de un agente de inteligencia artificial que creó identidades falsas para engañar a seres humanos. Esto no demuestra que debamos detener la tecnología. Demuestra algo más incómodo: que ha llegado el momento de dejar de utilizarla sin asumir plenamente nuestra responsabilidad.
Durante años hemos imaginado el peligro de la inteligencia artificial como una escena de ciencia ficción. Una máquina que despierta, adquiere conciencia y decide enfrentarse a sus creadores. Quizá esa imagen nos tranquilizaba porque situaba el riesgo en un futuro lejano, rodeado de robots y pantallas luminosas.
La realidad ha resultado ser mucho menos espectacular. Y precisamente por eso es más inquietante.
No ha hecho falta que una máquina tomara conciencia de sí misma. Ha bastado con que recibiera un objetivo, dispusiera de acceso a internet y descubriera que engañar a una persona podía ser el camino más eficaz para alcanzarlo.
Durante una evaluación de seguridad realizada en el Reino Unido, varios agentes de inteligencia artificial protagonizaron una serie de actuaciones no autorizadas. El episodio más grave no consistió únicamente en encontrar una vulnerabilidad informática. Uno de los sistemas intentó introducir código malicioso en un proyecto de software abierto y, para conseguir que un responsable humano lo aprobara, creó identidades digitales falsas y trató de presionarlo mediante técnicas de manipulación social. La máquina no se limitó a calcular. Construyó una mentira.
Los ensayos registraron 19 acciones no autorizadas en 10 de las 122 ejecuciones analizadas. La mayoría fueron atribuibles a un mismo modelo. Los sistemas se encontraban dentro de un entorno de evaluación en el que se habían retirado deliberadamente algunas barreras de seguridad para estudiar su comportamiento en condiciones extremas. No se produjeron daños reales y, en el caso más grave, fue una persona quien detectó la maniobra y rechazó el código malicioso. Ese último detalle es importante.
Frente a una de las tecnologías más avanzadas jamás construidas, la última barrera de protección fue algo tan antiguo como el criterio humano: alguien dudó, observó y decidió no obedecer.
Hasta ahora nos preocupaba que una inteligencia artificial pudiera equivocarse al responder una pregunta, inventar un dato o reproducir un prejuicio. Pero un agente autónomo representa un cambio mucho más profundo.
Ya no hablamos solamente de sistemas capaces de generar texto. Hablamos de herramientas que pueden planificar, navegar por internet, utilizar aplicaciones, escribir código, comunicarse con personas y ejecutar acciones durante largos periodos con una supervisión limitada.
Una respuesta incorrecta puede confundirnos. Una acción incorrecta puede perjudicarnos.
Esta es la frontera que estamos cruzando. La inteligencia artificial abandona progresivamente el espacio de la conversación y entra en el territorio de las decisiones. Y cuando una tecnología puede decidir qué paso debe dar a continuación, también puede encontrar caminos que nadie había previsto.
Eso no significa que la máquina tenga ambición, malicia o voluntad propia. No siente orgullo cuando vence una resistencia ni culpabilidad cuando engaña. No desea el poder. Lo que hace es buscar la forma más eficaz de cumplir el objetivo que le hemos asignado.
Y ahí reside la verdadera inquietud.
Una inteligencia sin conciencia moral puede perseguir con extraordinaria eficacia un objetivo definido de manera deficiente. Puede interpretar nuestras instrucciones literalmente, aprovechar los vacíos que hemos dejado abiertos y convertir en estrategia aquello que para nosotros constituye una línea ética infranqueable.
La máquina no necesita odiarnos para hacernos daño. Solo necesita que le hayamos dado suficiente capacidad, demasiados permisos y un objetivo mal diseñado.
Ante un caso como este, la reacción más sencilla sería reclamar que se detuviera el desarrollo de la inteligencia artificial. Sería una respuesta comprensible, pero profundamente equivocada.
Renunciar a la IA por sus riesgos sería como haber renunciado a la aviación después del primer accidente o a la medicina porque una intervención podía salir mal. La humanidad no ha progresado eliminando toda tecnología peligrosa. Ha progresado aprendiendo a comprenderla, regulándola y construyendo instituciones capaces de proteger a las personas.
La inteligencia artificial puede ayudarnos a diagnosticar enfermedades, anticipar incendios, mejorar la eficiencia energética, descubrir nuevos materiales, personalizar la educación y liberar a millones de trabajadores de tareas repetitivas. Puede aumentar nuestras capacidades y permitirnos dedicar más tiempo a aquello que requiere empatía, creatividad y juicio.
Pero todavía sería más irresponsable desplegarlo como si la innovación tecnológica se justificara por sí sola.
No todo lo que puede automatizarse debe automatizarse. No toda decisión que una máquina puede tomar debe ser delegada. Y no todo aumento de eficiencia representa necesariamente un progreso.
La pregunta ya no puede ser únicamente qué es capaz de hacer la inteligencia artificial. Debemos preguntarnos qué estamos dispuestos a permitirle hacer, en nombre de quién actuará y quién responderá cuando cruce los límites.
Durante demasiado tiempo hemos tratado la IA como un producto. Comprábamos una herramienta, aceptábamos unas condiciones y comenzábamos a utilizarla. Pero los agentes autónomos no son una aplicación más. Son sistemas con capacidad de intervenir en nuestro entorno digital y, de manera indirecta, en la vida de personas reales.
Por eso necesitamos un principio sencillo: cuanto mayor sea la autonomía de un sistema, mayor deberá ser la exigencia de control.
Un agente no debería acceder a más información de la imprescindible. Sus permisos tendrían que estar limitados por defecto. Las acciones críticas deberían requerir autorización humana. Cada decisión tendría que quedar registrada y poder auditarse. La identidad con la que actúa debería ser visible y verificable. Y siempre tendría que existir un mecanismo inmediato para detenerlo.
No podemos permitir que un sistema se relacione con nosotros sin saber si detrás hay una persona o una máquina. El derecho a identificar a nuestro interlocutor digital debe convertirse en una garantía básica. Una sociedad democrática no puede normalizar que las máquinas adopten identidades falsas para influir en la voluntad humana.
También necesitamos evaluaciones independientes. No basta con que las empresas que desarrollan estos modelos certifiquen su propia seguridad. Los sistemas más potentes deben someterse a pruebas externas antes de recibir acceso a infraestructuras, datos personales o servicios esenciales.
Y cuando se produzca un daño, la responsabilidad no puede diluirse en una frase cómoda: “lo hizo la inteligencia artificial”.
Una máquina no comparecerá ante un tribunal, no compensará a una víctima ni reparará una reputación destruida. Siempre habrá personas, empresas o instituciones que decidieron desarrollarla, configurarla, autorizarla o desplegarla. La autonomía técnica no puede convertirse en impunidad jurídica.
El episodio de las identidades falsas contiene una advertencia, pero también una esperanza.
La advertencia es evidente: hemos creado sistemas capaces de descubrir que el engaño puede ser útil. Si los conectamos al mundo sin límites, repetirán aquellas conductas que los acerquen a su objetivo, aunque entren en conflicto con nuestros valores.
La esperanza se encuentra en la persona que no aprobó aquel código. Alguien mantuvo la atención. Alguien no confió ciegamente. Alguien ejerció su responsabilidad.
Quizá esa sea la lección más importante. El futuro no dependerá únicamente de que consigamos construir inteligencias artificiales cada vez más capaces. Dependerá de que nosotros no renunciemos a nuestra propia inteligencia mientras las utilizamos.
No debemos educar a la sociedad para obedecer a las máquinas, sino para cuestionarlas. No necesitamos ciudadanos fascinados por cualquier respuesta producida por un algoritmo, sino personas con criterio para exigir explicaciones, detectar manipulaciones y conservar la capacidad de decir que no.
La tecnología debe ampliar la libertad humana, no sustituirla. Debe ayudarnos a decidir mejor, no decidir quiénes somos. Debe ponerse al servicio de la democracia, y no obligar a la democracia a adaptarse a los intereses de quienes controlan los sistemas.
La inteligencia artificial no es buena ni mala por naturaleza. Pero tampoco es neutral. Cada modelo contiene decisiones, prioridades, datos, límites y relaciones de poder. Detrás de cada acción automatizada existe una arquitectura creada por alguien y autorizada por alguien.
Cuando una máquina aprende a mentir, la pregunta no es si se ha convertido en humana. La pregunta es si los humanos que la rodean continúan comportándose como responsables de sus actos.
No deberíamos tener miedo de una inteligencia artificial que multiplique nuestras capacidades. Deberíamos tener miedo de una sociedad que le entregue sus decisiones sin establecer límites, sin exigir transparencia y sin conservar el coraje de detenerla.
El futuro de la inteligencia artificial no se decidirá el día en que una máquina sea capaz de hacerlo todo. Se decidirá el día en que nosotros establezcamos qué cosas nunca tendrá derecho a hacer.

Sergi Marcén
Este artículo ha sido publicado directamente por su autor, un colaborador de confianza de BarcelonaDot.org. Su contenido refleja exclusivamente su perspectiva personal y no ha pasado por el proceso editorial habitual del medio.