Sergi Marcén · CONFUCIO ANTE LA INTELIGENCIA ARTIFICIAL, QUIÉN GOBIERNA A QUIÉN.

Fa 2.500 anys Confuci no podia imaginar una intel·ligència artificial. Però sí que va entendre quelcom essencial sobre el poder, tenir la capacitat de fer alguna cosa no significa tenir la legitimitat per fer-la. Aquesta distinció hauria d'estar al centre del debat sobre intel·ligència artificial.

Estem vivint una cursa tecnològica extraordinària. Models més grans, més ràpids i capaços. Sistemes que escriuen, programen, diagnostiquen, prediuen, recomanen i comencen a intervenir en decisions que fins fa molt poc consideràvem exclusivament humanes. Celebrem cada nova capacitat com una victòria. Però hem dedicat molt més temps a preguntar-nos què pot fer la intel·ligència artificial que a decidir què volem que faci.

Perquè només el fet de ser més eficient no pot decidir el model de societat. Un dels conceptes centrals de les Analectes és yi: fer el correcte per sobre d'allò que simplement resulta convenient.

Sembla una idea senzilla. Aplicada a la intel·ligència artificial, deixa de ser-ho. Perquè una de les grans temptacions d'aquesta revolució tecnològica serà confondre eficiència amb progrés. Si una IA permet atendre més persones amb menys recursos, sembla lògic utilitzar-la. Si automatitza una tasca administrativa, redueix costos o accelera una decisió, aparentment hem millorat el sistema.

Però què passa quan aquesta eficiència redueix drets, autonomia o capacitat de decisió? Què succeeix quan per estalviar temps convertim una recomanació algorítmica en una decisió pràcticament automàtica? I quan la tecnologia és extraordinàriament eficient, però ningú pot explicar realment per què ha pres una determinada decisió?

L'eficiència és necessària. Però l'eficiència no és una ètica. Una societat democràtica no pot permetre que la pregunta «funciona?» substitueixi una altra molt més important: «és això el que volem fer?».

Confuci defensava la rectificació dels noms, les coses havien de correspondre's amb allò que dèiem que eren. La idea té una actualitat enorme.

Avui anomenem «assistents» a sistemes que comencen a condicionar decisions. Parlem de «supervisió humana» quan moltes vegades l'humà es limita a confirmar la recomanació de la màquina. Parlem d'«automatització» per a processos que poden determinar qui rep una ajuda, qui aconsegueix una feina o quin ciutadà mereix una investigació addicional. I parlem d'«algoritmes objectius» com si les dades amb què treballen haguessin aparegut espontàniament i no fossin producte de decisions humanes, institucions i societats concretes.

El llenguatge mai no és innocent quan parlem de poder.

Si anomenem assistent a una intel·ligència artificial, ha d'assistir. Si parlem de supervisió humana, la persona ha de poder comprendre, qüestionar i corregir. I si un sistema pren decisions que afecten drets, hem de reconèixer que estem davant d'un instrument de poder. Anomenar-lo correctament és el primer pas per poder governar-lo.

Bona part del debat polític sobre intel·ligència artificial s'està concentrant en l'ocupació. És lògic. Però existeix un altre impacte menys visible. Podem construir organitzacions extraordinàriament productives i, al mateix temps, intel·lectualment més dependents.

Imaginem una administració on la intel·ligència artificial llegeix expedients, busca antecedents, compara documents, redacta informes, detecta errors i proposa resolucions. La productivitat augmenta. Després de sis mesos, augmenta encara més. Dos anys després hauríem de fer una pregunta que difícilment apareixerà al quadre de comandament:

Els treballadors saben més o saben menys que abans d'utilitzar-la?

Aquesta pregunta em preocupa molt més que saber quants minuts hem estalviat per expedient. Perquè podem acabar creant institucions tecnològicament molt intel·ligents habitades per persones cada vegada més dependents de sistemes que ja no comprenen. I una administració que no comprèn les eines de les quals depèn perd quelcom més important que productivitat. Perd sobirania.

Durant anys hem parlat de sobirania digital pensant principalment en infraestructures, dades, comunicacions, plataformes o capacitat de computació. Amb la intel·ligència artificial hem d'afegir una altra dimensió, la sobirania cognitiva.

Qui organitza la informació que rebem. Qui estableix quin coneixement és rellevant. Qui recomana una decisió. Qui construeix els models amb què interpretem la realitat. I, finalment, qui conserva la capacitat de decidir sense dependre completament d'aquests sistemes.

Una administració pública que externalitza progressivament la seva capacitat de raonar, interpretar i decidir cap a models que no controla pot seguir sent formalment sobirana mentre perd capacitat efectiva per exercir aquesta sobirania. Per això el debat sobre IA no pot limitar-se a comprar millors eines. Hem de preguntar-nos quin coneixement volem conservar dins de les nostres institucions.

La intel·ligència artificial ofereix una oportunitat extraordinària per transformar els serveis públics. Pot alliberar els empleats de tasques repetitives, recuperar coneixement dispers, detectar incoherències, comparar milers de documents, facilitar la relació amb la ciutadania i ajudar a prendre decisions millor informades. Hem d'aprofitar-ho.

Però l'objectiu no hauria de ser construir una Administració que necessiti cada vegada menys criteri humà. Precisament el contrari. Necessitem una Administració on la tecnologia permeti a les persones comprendre més, disposar de millor informació i decidir millor.

Això canvia com hem de dissenyar els sistemes. Un bon assistent cognitiu no hauria de limitar-se a lliurar una resposta. Hauria d'explicar. Mostrar fonts. Assenyalar contradiccions. Expressar incertesa. Permetre preguntes. Reconèixer quan no sap quelcom. I, sobretot, deixar sempre espai perquè una persona pugui dir “No hi estic d'acord.”

Perquè supervisar una intel·ligència artificial no consisteix a col·locar un humà al final del procés perquè premi un botó. Això no és supervisió. És validació.

Existeix a més un perill polític evident. Quanta més tecnologia introduïm en una decisió, més fàcil resulta diluir la responsabilitat. L'empleat va seguir la recomanació del sistema. El responsable va confiar en l'empleat. L'Administració va confiar en el proveïdor. El proveïdor explica que el model ofereix respostes probabilístiques. Tenim una decisió. Tenim una persona afectada. Però sembla que ningú no va decidir res. Una democràcia no pot funcionar així.

Podem automatitzar tasques. Podem utilitzar algoritmes per analitzar informació. Podem demanar a una IA que formuli recomanacions. El que no podem automatitzar és la responsabilitat.

Sempre ha d'existir algú capaç d'explicar una decisió, justificar-la i respondre per les seves conseqüències. I com més important sigui la decisió, major ha de ser aquesta exigència.

Fins ara hem avaluat la transformació digital fonamentalment amb indicadors de productivitat. Temps estalviat. Costos. Nombre de tràmits. Errors reduïts. Són indicadors necessaris. Però amb la intel·ligència artificial resulten insuficients.

Després d'utilitzar un sistema durant un any hauríem de preguntar-nos també, ¿Les persones comprenen millor la seva feina? ¿Detecten millor els errors? ¿Són capaces de qüestionar una recomanació algorítmica? ¿Conserven el coneixement necessari per decidir sense la màquina? ¿L'organització sap més que abans? ¿Pot explicar millor les seves decisions?

Aquestes preguntes haurien de formar part de qualsevol avaluació seriosa d'impacte de la intel·ligència artificial. Perquè una tecnologia que augmenta la productivitat però disminueix la nostra capacitat de pensar pot ser rendible a curt termini i profundament empobridora a llarg termini.

La intel·ligència artificial no determinarà inevitablement el nostre futur. El determinaran les decisions que prenguem sobre ella. Podem construir una IA concentrada en poques empreses i grans infraestructures, on ciutadans, treballadors i administracions siguin fonamentalment consumidors d'intel·ligència produïda per altres.

O podem construir un model on la tecnologia ampliï capacitats, distribueixi coneixement i enforteixi la nostra autonomia. Aquesta elecció no la resoldran els enginyers. Tampoc els algoritmes. És una decisió política.

Confuci pensava que el bon govern començava per la responsabilitat de qui tenia poder. Vint-i-cinc segles després, mentre construïm màquines capaces d'intervenir en una part creixent de les nostres decisions, aquella idea torna a resultar incòmodament moderna.

La pregunta important no és si la intel·ligència artificial arribarà a ser capaç de decidir per nosaltres. Probablement podrà fer-ho en molts àmbits. La pregunta és si nosaltres decidirem deixar que ho faci.

Perquè el veritable progrés tecnològic no hauria de consistir a construir màquines que pensin perquè nosaltres puguem deixar de pensar. Hauria de consistir a construir màquines que ens permetin pensar millor, decidir millor i continuar sent responsables de les nostres decisions. Aquest hauria de ser el límit. I també l'objectiu.

Sergi Marcén
Aquest article ha estat publicat directament pel seu autor, un col·laborador de confiança de BarcelonaDot.org. El seu contingut reflecteix exclusivament la seva perspectiva personal i no ha passat pel procés editorial habitual del mitjà.

Hace 2.500 años Confucio no podía imaginar una inteligencia artificial. Pero sí entendió algo esencial sobre el poder, tener la capacidad de hacer algo no significa tener la legitimidad para hacerlo. Esta distinción debería estar en el centro del debate sobre inteligencia artificial.
Estamos viviendo una carrera tecnológica extraordinaria. Modelos más grandes, más rápidos y capaces. Sistemas que escriben, programan, diagnostican, predicen, recomiendan y empiezan a intervenir en decisiones que hasta hace muy poco considerábamos exclusivamente humanas. Celebramos cada nueva capacidad como una victoria. Pero hemos dedicado mucho más tiempo a preguntarnos qué puede hacer la inteligencia artificial que a decidir qué queremos que haga.
Porque solo el hecho de ser más eficiente no puede decidir el modelo de sociedad. Uno de los conceptos centrales de las Analectas es yi: hacer lo correcto por encima de aquello que simplemente resulta conveniente.
Parece una idea sencilla. Aplicada a la inteligencia artificial, deja de serlo. Porque una de las grandes tentaciones de esta revolución tecnológica será confundir eficiencia con progreso. Si una IA permite atender a más personas con menos recursos, parece lógico utilizarla. Si automatiza una tarea administrativa, reduce costes o acelera una decisión, aparentemente hemos mejorado el sistema.
Pero ¿qué ocurre cuando esa eficiencia reduce derechos, autonomía o capacidad de decisión? ¿Qué sucede cuando para ahorrar tiempo convertimos una recomendación algorítmica en una decisión prácticamente automática? ¿Y cuando la tecnología es extraordinariamente eficiente, pero nadie puede explicar realmente por qué ha tomado una determinada decisión?
La eficiencia es necesaria. Pero la eficiencia no es una ética. Una sociedad democrática no puede permitir que la pregunta «¿funciona?» sustituya a otra mucho más importante: «¿es esto lo que queremos hacer?».
Confucio defendía la rectificación de los nombres, las cosas debían corresponderse con aquello que decíamos que eran. La idea tiene una actualidad enorme.
Hoy llamamos «asistentes» a sistemas que empiezan a condicionar decisiones. Hablamos de «supervisión humana» cuando muchas veces el humano se limita a confirmar la recomendación de la máquina. Hablamos de «automatización» para procesos que pueden determinar quién recibe una ayuda, quién consigue un empleo o qué ciudadano merece una investigación adicional. Y hablamos de «algoritmos objetivos» como si los datos con los que trabajan hubieran aparecido espontáneamente y no fueran producto de decisiones humanas, instituciones y sociedades concretas.
El lenguaje nunca es inocente cuando hablamos de poder.
Si llamamos asistente a una inteligencia artificial, debe asistir. Si hablamos de supervisión humana, la persona debe poder comprender, cuestionar y corregir. Y si un sistema toma decisiones que afectan a derechos, debemos reconocer que estamos ante un instrumento de poder. Nombrarlo correctamente es el primer paso para poder gobernarlo.
Buena parte del debate político sobre inteligencia artificial se está concentrando en el empleo. Es lógico. Pero existe otro impacto menos visible. Podemos construir organizaciones extraordinariamente productivas y, al mismo tiempo, intelectualmente más dependientes.
Imaginemos una administración donde la inteligencia artificial lee expedientes, busca antecedentes, compara documentos, redacta informes, detecta errores y propone resoluciones. La productividad aumenta. Después de seis meses, aumenta todavía más. Dos años después deberíamos hacer una pregunta que difícilmente aparecerá en el cuadro de mando:
¿Los trabajadores saben más o saben menos que antes de utilizarla?
Esta pregunta me preocupa mucho más que saber cuántos minutos hemos ahorrado por expediente. Porque podemos acabar creando instituciones tecnológicamente muy inteligentes habitadas por personas cada vez más dependientes de sistemas que ya no comprenden. Y una administración que no comprende las herramientas de las que depende pierde algo más importante que productividad. Pierde soberanía.
Durante años hemos hablado de soberanía digital pensando principalmente en infraestructuras, datos, comunicaciones, plataformas o capacidad de computación. Con la inteligencia artificial debemos añadir otra dimensión, la soberanía cognitiva.
Quién organiza la información que recibimos. Quién establece qué conocimiento es relevante. Quién recomienda una decisión. Quién construye los modelos con los que interpretamos la realidad. Y, finalmente, quién conserva la capacidad de decidir sin depender completamente de esos sistemas.
Una administración pública que externaliza progresivamente su capacidad de razonar, interpretar y decidir hacia modelos que no controla puede seguir siendo formalmente soberana mientras pierde capacidad efectiva para ejercer esa soberanía. Por eso el debate sobre IA no puede limitarse a comprar mejores herramientas. Tenemos que preguntarnos qué conocimiento queremos conservar dentro de nuestras instituciones.
La inteligencia artificial ofrece una oportunidad extraordinaria para transformar los servicios públicos. Puede liberar a los empleados de tareas repetitivas, recuperar conocimiento disperso, detectar incoherencias, comparar miles de documentos, facilitar la relación con la ciudadanía y ayudar a tomar decisiones mejor informadas. Debemos aprovecharlo.
Pero el objetivo no debería ser construir una Administración que necesite cada vez menos criterio humano. Precisamente lo contrario. Necesitamos una Administración donde la tecnología permita a las personas comprender más, disponer de mejor información y decidir mejor.
Eso cambia cómo debemos diseñar los sistemas. Un buen asistente cognitivo no debería limitarse a entregar una respuesta. Debería explicar. Mostrar fuentes. Señalar contradicciones. Expresar incertidumbre. Permitir preguntas. Reconocer cuando no sabe algo. Y, sobre todo, dejar siempre espacio para que una persona pueda decir “No estoy de acuerdo.”
Porque supervisar una inteligencia artificial no consiste en colocar un humano al final del proceso para que pulse un botón. Eso no es supervisión. Es validación.
Existe además un peligro político evidente. Cuanta más tecnología introducimos en una decisión, más fácil resulta diluir la responsabilidad. El empleado siguió la recomendación del sistema. El responsable confió en el empleado. La Administración confió en el proveedor. El proveedor explica que el modelo ofrece respuestas probabilísticas. Tenemos una decisión. Tenemos una persona afectada. Pero parece que nadie decidió nada. Una democracia no puede funcionar así.
Podemos automatizar tareas. Podemos utilizar algoritmos para analizar información. Podemos pedir a una IA que formule recomendaciones. Lo que no podemos automatizar es la responsabilidad.
Siempre debe existir alguien capaz de explicar una decisión, justificarla y responder por sus consecuencias. Y cuanto más importante sea la decisión, mayor debe ser esa exigencia.
Hasta ahora hemos evaluado la transformación digital fundamentalmente con indicadores de productividad. Tiempo ahorrado. Costes. Número de trámites. Errores reducidos. Son indicadores necesarios. Pero con la inteligencia artificial resultan insuficientes.
Después de utilizar un sistema durante un año deberíamos preguntarnos también, ¿Las personas comprenden mejor su trabajo? ¿Detectan mejor los errores? ¿Son capaces de cuestionar una recomendación algorítmica? ¿Conservan el conocimiento necesario para decidir sin la máquina? ¿La organización sabe más que antes? ¿Puede explicar mejor sus decisiones?
Estas preguntas deberían formar parte de cualquier evaluación seria de impacto de la inteligencia artificial. Porque una tecnología que aumenta la productividad pero disminuye nuestra capacidad de pensar puede ser rentable a corto plazo y profundamente empobrecedora a largo plazo.
La inteligencia artificial no determinará inevitablemente nuestro futuro. Lo determinarán las decisiones que tomemos sobre ella. Podemos construir una IA concentrada en pocas empresas y grandes infraestructuras, donde ciudadanos, trabajadores y administraciones sean fundamentalmente consumidores de inteligencia producida por otros.
O podemos construir un modelo donde la tecnología amplíe capacidades, distribuya conocimiento y fortalezca nuestra autonomía. Esta elección no la resolverán los ingenieros. Tampoco los algoritmos. Es una decisión política.
Confucio pensaba que el buen gobierno comenzaba por la responsabilidad de quien tenía poder. Veinticinco siglos después, mientras construimos máquinas capaces de intervenir en una parte creciente de nuestras decisiones, aquella idea vuelve a resultar incómodamente moderna.
La pregunta importante no es si la inteligencia artificial llegará a ser capaz de decidir por nosotros. Probablemente podrá hacerlo en muchos ámbitos. La pregunta es si nosotros decidiremos dejar que lo haga.
Porque el verdadero progreso tecnológico no debería consistir en construir máquinas que piensen para que nosotros podamos dejar de pensar. Debería consistir en construir máquinas que nos permitan pensar mejor, decidir mejor y seguir siendo responsables de nuestras decisiones. Ese debería ser el límite. Y también el objetivo.

Sergi Marcén
Este artículo ha sido publicado directamente por su autor, un colaborador de confianza de BarcelonaDot.org. Su contenido refleja exclusivamente su perspectiva personal y no ha pasado por el proceso editorial habitual del medio.

2,500 years ago, Confucius could not have imagined artificial intelligence. But he did understand something essential about power: having the ability to do something does not mean having the legitimacy to do it. This distinction should be at the heart of the debate on artificial intelligence.

We are experiencing an extraordinary technological race. Larger, faster, and more capable models. Systems that write, program, diagnose, predict, recommend, and begin to intervene in decisions that until very recently we considered exclusively human. We celebrate each new capability as a victory. But we have spent much more time asking ourselves what artificial intelligence can do than deciding what we want it to do.

Because merely being more efficient cannot decide the model of society. One of the central concepts of the Analects is yi: doing what is right over what is merely convenient.

It seems like a simple idea. Applied to artificial intelligence, it ceases to be so. Because one of the great temptations of this technological revolution will be to confuse efficiency with progress. If an AI allows us to serve more people with fewer resources, it seems logical to use it. If it automates an administrative task, reduces costs, or accelerates a decision, we have apparently improved the system.

But what happens when that efficiency reduces rights, autonomy, or decision-making capacity? What happens when, to save time, we turn an algorithmic recommendation into an almost automatic decision? And when the technology is extraordinarily efficient, but no one can really explain why it made a particular decision?

Efficiency is necessary. But efficiency is not an ethic. A democratic society cannot allow the question "Does it work?" to replace a much more important one: "Is this what we want to do?"

Confucius advocated for the rectification of names, things should correspond to what we said they were. The idea is incredibly relevant today.

Today we call "assistants" systems that begin to condition decisions. We talk about "human supervision" when often the human merely confirms the machine's recommendation. We talk about "automation" for processes that can determine who receives aid, who gets a job, or which citizen deserves further investigation. And we talk about "objective algorithms" as if the data they work with appeared spontaneously and were not the product of specific human decisions, institutions, and societies.

Language is never innocent when we talk about power.

If we call an artificial intelligence an assistant, it must assist. If we talk about human supervision, the person must be able to understand, question, and correct. And if a system makes decisions that affect rights, we must recognize that we are dealing with an instrument of power. Naming it correctly is the first step to being able to govern it.

A large part of the political debate on artificial intelligence is focusing on employment. It is logical. But there is another less visible impact. We can build extraordinarily productive organizations and, at the same time, intellectually more dependent.

Imagine an administration where artificial intelligence reads files, searches for precedents, compares documents, drafts reports, detects errors, and proposes resolutions. Productivity increases. After six months, it increases even more. Two years later, we should ask a question that will hardly appear on the dashboard:

Do workers know more or less than before using it?

This question concerns me much more than knowing how many minutes we have saved per file. Because we may end up creating technologically very intelligent institutions inhabited by people increasingly dependent on systems they no longer understand. And an administration that does not understand the tools it depends on loses something more important than productivity. It loses sovereignty.

For years we have talked about digital sovereignty, mainly thinking about infrastructures, data, communications, platforms, or computing capacity. With artificial intelligence, we must add another dimension, cognitive sovereignty.

Who organizes the information we receive. Who establishes what knowledge is relevant. Who recommends a decision. Who builds the models with which we interpret reality. And, finally, who retains the ability to decide without completely relying on those systems.

A public administration that progressively outsources its capacity to reason, interpret, and decide to models it does not control can remain formally sovereign while losing effective capacity to exercise that sovereignty. That is why the debate on AI cannot be limited to buying better tools. We must ask ourselves what knowledge we want to retain within our institutions.

Artificial intelligence offers an extraordinary opportunity to transform public services. It can free employees from repetitive tasks, recover dispersed knowledge, detect inconsistencies, compare thousands of documents, facilitate interaction with citizens, and help make better-informed decisions. We must take advantage of it.

But the goal should not be to build an Administration that needs less and less human judgement. Quite the opposite. We need an Administration where technology allows people to understand more, have better information, and make better decisions.

That changes how we should design systems. A good cognitive assistant should not just deliver an answer. It should explain. Show sources. Point out contradictions. Express uncertainty. Allow questions. Recognize when it doesn't know something. And, above all, always leave room for a person to say "I disagree."

Because supervising an artificial intelligence does not consist of placing a human at the end of the process to press a button. That is not supervision. It is validation.

There is also an obvious political danger. The more technology we introduce into a decision, the easier it is to dilute responsibility. The employee followed the system's recommendation. The manager trusted the employee. The Administration trusted the provider. The provider explains that the model offers probabilistic answers. We have a decision. We have an affected person. But it seems that no one decided anything. A democracy cannot function like this.

We can automate tasks. We can use algorithms to analyse information. We can ask an AI to make recommendations. What we cannot automate is responsibility.

There must always be someone capable of explaining a decision, justifying it, and answering for its consequences. And the more important the decision, the greater that requirement must be.

Until now, we have evaluated digital transformation mainly with productivity indicators. Time saved. Costs. Number of procedures. Errors reduced. These are necessary indicators. But with artificial intelligence, they are insufficient.

After using a system for a year, we should also ask, Do people understand their work better? Do they detect errors better? Are they able to question an algorithmic recommendation? Do they retain the necessary knowledge to decide without the machine? Does the organization know more than before? Can it better explain its decisions?

These questions should be part of any serious evaluation of the impact of artificial intelligence. Because a technology that increases productivity but decreases our ability to think can be profitable in the short term and profoundly impoverishing in the long term.

Artificial intelligence will not inevitably determine our future. It will be determined by the decisions we make about it. We can build an AI concentrated in a few companies and large infrastructures, where citizens, workers, and administrations are fundamentally consumers of intelligence produced by others.

Or we can build a model where technology expands capabilities, distributes knowledge, and strengthens our autonomy. This choice will not be resolved by engineers. Nor by algorithms. It is a political decision.

Confucius believed that good governance began with the responsibility of those in power. Twenty-five centuries later, as we build machines capable of intervening in a growing part of our decisions, that idea is once again uncomfortably modern.

The important question is not whether artificial intelligence will become capable of deciding for us. It probably will in many areas. The question is whether we will decide to let it do so.

Because true technological progress should not consist of building machines that think so that we can stop thinking. It should consist of building machines that allow us to think better, decide better, and continue to be responsible for our decisions. That should be the limit. And also the goal.

Sergi Marcén
This article has been published directly by its author, a trusted contributor to BarcelonaDot.org. Its content reflects exclusively his personal perspective and has not gone through the usual editorial process of the medium.