Sergi Marcén · CONFUCIO ANTE LA INTELIGENCIA ARTIFICIAL, QUIÉN GOBIERNA A QUIÉN.

Hace 2.500 años Confucio no podía imaginar una inteligencia artificial. Pero sí entendió algo esencial sobre el poder, tener la capacidad de hacer algo no significa tener la legitimidad para hacerlo. Esta distinción debería estar en el centro del debate sobre inteligencia artificial.
Estamos viviendo una carrera tecnológica extraordinaria. Modelos más grandes, más rápidos y capaces. Sistemas que escriben, programan, diagnostican, predicen, recomiendan y empiezan a intervenir en decisiones que hasta hace muy poco considerábamos exclusivamente humanas. Celebramos cada nueva capacidad como una victoria. Pero hemos dedicado mucho más tiempo a preguntarnos qué puede hacer la inteligencia artificial que a decidir qué queremos que haga.
Porque solo el hecho de ser más eficiente no puede decidir el modelo de sociedad. Uno de los conceptos centrales de las Analectas es yi: hacer lo correcto por encima de aquello que simplemente resulta conveniente.
Parece una idea sencilla. Aplicada a la inteligencia artificial, deja de serlo. Porque una de las grandes tentaciones de esta revolución tecnológica será confundir eficiencia con progreso. Si una IA permite atender a más personas con menos recursos, parece lógico utilizarla. Si automatiza una tarea administrativa, reduce costes o acelera una decisión, aparentemente hemos mejorado el sistema.
Pero ¿qué ocurre cuando esa eficiencia reduce derechos, autonomía o capacidad de decisión? ¿Qué sucede cuando para ahorrar tiempo convertimos una recomendación algorítmica en una decisión prácticamente automática? ¿Y cuando la tecnología es extraordinariamente eficiente, pero nadie puede explicar realmente por qué ha tomado una determinada decisión?
La eficiencia es necesaria. Pero la eficiencia no es una ética. Una sociedad democrática no puede permitir que la pregunta «¿funciona?» sustituya a otra mucho más importante: «¿es esto lo que queremos hacer?».
Confucio defendía la rectificación de los nombres, las cosas debían corresponderse con aquello que decíamos que eran. La idea tiene una actualidad enorme.
Hoy llamamos «asistentes» a sistemas que empiezan a condicionar decisiones. Hablamos de «supervisión humana» cuando muchas veces el humano se limita a confirmar la recomendación de la máquina. Hablamos de «automatización» para procesos que pueden determinar quién recibe una ayuda, quién consigue un empleo o qué ciudadano merece una investigación adicional. Y hablamos de «algoritmos objetivos» como si los datos con los que trabajan hubieran aparecido espontáneamente y no fueran producto de decisiones humanas, instituciones y sociedades concretas.
El lenguaje nunca es inocente cuando hablamos de poder.
Si llamamos asistente a una inteligencia artificial, debe asistir. Si hablamos de supervisión humana, la persona debe poder comprender, cuestionar y corregir. Y si un sistema toma decisiones que afectan a derechos, debemos reconocer que estamos ante un instrumento de poder. Nombrarlo correctamente es el primer paso para poder gobernarlo.
Buena parte del debate político sobre inteligencia artificial se está concentrando en el empleo. Es lógico. Pero existe otro impacto menos visible. Podemos construir organizaciones extraordinariamente productivas y, al mismo tiempo, intelectualmente más dependientes.
Imaginemos una administración donde la inteligencia artificial lee expedientes, busca antecedentes, compara documentos, redacta informes, detecta errores y propone resoluciones. La productividad aumenta. Después de seis meses, aumenta todavía más. Dos años después deberíamos hacer una pregunta que difícilmente aparecerá en el cuadro de mando:
¿Los trabajadores saben más o saben menos que antes de utilizarla?
Esta pregunta me preocupa mucho más que saber cuántos minutos hemos ahorrado por expediente. Porque podemos acabar creando instituciones tecnológicamente muy inteligentes habitadas por personas cada vez más dependientes de sistemas que ya no comprenden. Y una administración que no comprende las herramientas de las que depende pierde algo más importante que productividad. Pierde soberanía.
Durante años hemos hablado de soberanía digital pensando principalmente en infraestructuras, datos, comunicaciones, plataformas o capacidad de computación. Con la inteligencia artificial debemos añadir otra dimensión, la soberanía cognitiva.
Quién organiza la información que recibimos. Quién establece qué conocimiento es relevante. Quién recomienda una decisión. Quién construye los modelos con los que interpretamos la realidad. Y, finalmente, quién conserva la capacidad de decidir sin depender completamente de esos sistemas.
Una administración pública que externaliza progresivamente su capacidad de razonar, interpretar y decidir hacia modelos que no controla puede seguir siendo formalmente soberana mientras pierde capacidad efectiva para ejercer esa soberanía. Por eso el debate sobre IA no puede limitarse a comprar mejores herramientas. Tenemos que preguntarnos qué conocimiento queremos conservar dentro de nuestras instituciones.
La inteligencia artificial ofrece una oportunidad extraordinaria para transformar los servicios públicos. Puede liberar a los empleados de tareas repetitivas, recuperar conocimiento disperso, detectar incoherencias, comparar miles de documentos, facilitar la relación con la ciudadanía y ayudar a tomar decisiones mejor informadas. Debemos aprovecharlo.
Pero el objetivo no debería ser construir una Administración que necesite cada vez menos criterio humano. Precisamente lo contrario. Necesitamos una Administración donde la tecnología permita a las personas comprender más, disponer de mejor información y decidir mejor.
Eso cambia cómo debemos diseñar los sistemas. Un buen asistente cognitivo no debería limitarse a entregar una respuesta. Debería explicar. Mostrar fuentes. Señalar contradicciones. Expresar incertidumbre. Permitir preguntas. Reconocer cuando no sabe algo. Y, sobre todo, dejar siempre espacio para que una persona pueda decir “No estoy de acuerdo.”
Porque supervisar una inteligencia artificial no consiste en colocar un humano al final del proceso para que pulse un botón. Eso no es supervisión. Es validación.
Existe además un peligro político evidente. Cuanta más tecnología introducimos en una decisión, más fácil resulta diluir la responsabilidad. El empleado siguió la recomendación del sistema. El responsable confió en el empleado. La Administración confió en el proveedor. El proveedor explica que el modelo ofrece respuestas probabilísticas. Tenemos una decisión. Tenemos una persona afectada. Pero parece que nadie decidió nada. Una democracia no puede funcionar así.
Podemos automatizar tareas. Podemos utilizar algoritmos para analizar información. Podemos pedir a una IA que formule recomendaciones. Lo que no podemos automatizar es la responsabilidad.
Siempre debe existir alguien capaz de explicar una decisión, justificarla y responder por sus consecuencias. Y cuanto más importante sea la decisión, mayor debe ser esa exigencia.
Hasta ahora hemos evaluado la transformación digital fundamentalmente con indicadores de productividad. Tiempo ahorrado. Costes. Número de trámites. Errores reducidos. Son indicadores necesarios. Pero con la inteligencia artificial resultan insuficientes.
Después de utilizar un sistema durante un año deberíamos preguntarnos también, ¿Las personas comprenden mejor su trabajo? ¿Detectan mejor los errores? ¿Son capaces de cuestionar una recomendación algorítmica? ¿Conservan el conocimiento necesario para decidir sin la máquina? ¿La organización sabe más que antes? ¿Puede explicar mejor sus decisiones?
Estas preguntas deberían formar parte de cualquier evaluación seria de impacto de la inteligencia artificial. Porque una tecnología que aumenta la productividad pero disminuye nuestra capacidad de pensar puede ser rentable a corto plazo y profundamente empobrecedora a largo plazo.
La inteligencia artificial no determinará inevitablemente nuestro futuro. Lo determinarán las decisiones que tomemos sobre ella. Podemos construir una IA concentrada en pocas empresas y grandes infraestructuras, donde ciudadanos, trabajadores y administraciones sean fundamentalmente consumidores de inteligencia producida por otros.
O podemos construir un modelo donde la tecnología amplíe capacidades, distribuya conocimiento y fortalezca nuestra autonomía. Esta elección no la resolverán los ingenieros. Tampoco los algoritmos. Es una decisión política.
Confucio pensaba que el buen gobierno comenzaba por la responsabilidad de quien tenía poder. Veinticinco siglos después, mientras construimos máquinas capaces de intervenir en una parte creciente de nuestras decisiones, aquella idea vuelve a resultar incómodamente moderna.
La pregunta importante no es si la inteligencia artificial llegará a ser capaz de decidir por nosotros. Probablemente podrá hacerlo en muchos ámbitos. La pregunta es si nosotros decidiremos dejar que lo haga.
Porque el verdadero progreso tecnológico no debería consistir en construir máquinas que piensen para que nosotros podamos dejar de pensar. Debería consistir en construir máquinas que nos permitan pensar mejor, decidir mejor y seguir siendo responsables de nuestras decisiones. Ese debería ser el límite. Y también el objetivo.

Sergi Marcén
Este artículo ha sido publicado directamente por su autor, un colaborador de confianza de BarcelonaDot.org. Su contenido refleja exclusivamente su perspectiva personal y no ha pasado por el proceso editorial habitual del medio.