🌐 IA defectuosa casi provoca conflicto entre EE.UU. y China, según informe
Oblidem la 'superintel·ligència': una IA propensa a errors gairebé va desencadenar la tercera guerra mundial aquest mes | Timnit Gebru i Emily M Bender
Enmig d'un allau de notícies que adverteixen sobre màquines superintel·ligents que podrien extingir la humanitat, un informe de CNN va descriure un escenari oposat: la dependència de l'exèrcit nord-americà de xatbots defectuosos gairebé va portar els Estats Units a la guerra amb la Xina. Aquest incident va passar desapercebut per al públic en general.
El titular internacional més gran sobre intel·ligència artificial de les darreres setmanes va ser la renúncia de l'enginyer d'Anthropic, Jacob Coxon. Segons ell, OpenAI i Anthropic estan "corrents directament cap a la superintel·ligència auto-millorada i jugant amb les nostres vides". La descripció de Coxon d'un escenari "terminator", on una màquina es torna molt més intel·ligent que la humanitat i decideix aniquilar-nos, va capturar l'atenció del públic, periodistes i polítics, generant una onada d'informes alarmistes i accions polítiques.
El governador de Califòrnia, Gavin Newsom, va emetre un mandat per crear un "interruptor d'apagada d'IA"; la governadora de Nova York, Kathy Hochul, està explorant la possibilitat de tenir "interruptors d'apagada d'IA"; i el senador Bernie Sanders i el congressista Greg Casar van introduir una legislació per "prohibir la superintel·ligència artificial".
Mentre molts de nosaltres ens concentràvem en màquines superintel·ligents fictícies que, segons ens van dir, podrien causar l'extinció humana, hi havia una història més seriosa que s'estava reportant. Una sèrie d'esdeveniments gairebé ens va portar a l'armagedon, no causat per "IA descontrolada i superintel·ligent", sinó per la dependència governamental de sistemes defectuosos que són comercialitzats pels seus fabricants com a propers a la superintel·ligència.
Un informe de CNN publicat el 18 de setembre, que no ha estat verificat per altres mitjans importants, descriu com els Estats Units "gairebé van iniciar una guerra" amb la Xina, basat en un informe d'intel·ligència que afirmava que un vaixell xinès estava transportant components d'armes nuclears. El personal militar va fer plans per interceptar el vaixell xinès, amb avions i soldats preparats per abordar el vaixell. Un enfrontament militar d'aquest tipus entre la Xina i els Estats Units podria escalar ràpidament i convertir-se en la tercera guerra mundial.
Va ser només moments abans d'executar el pla que els funcionaris nord-americans van investigar més a fons l'informe d'intel·ligència i van descobrir que havia estat generat amb l'ús d'un xatbot i contenia informació errònia sobre el contingut del vaixell.
A diferència de l'escenari "terminator" de "IA descontrolada", aquest incident no va galvanitzar els legisladors per anunciar crides a la regulació per evitar una possible extinció humana. Els mitjans de comunicació no van advertir al públic que gairebé vam desencadenar una guerra contra una superpotència nuclear a causa de la nostra dependència militar de xatbots defectuosos.
Descrivim els models de llenguatge gran (LLM) que impulsen aquests xatbots com a "lloros estocàstics", és a dir, models dissenyats per regurgitar els patrons de les dades en què estan entrenats. La cobertura de notícies que els descriu com a models "poderosos" i "descontrolats" que podrien extingir la humanitat per si sols, reforça la percepció que les eines basades en aquests models són infal·libles i mereixen ser utilitzades en situacions d'alt risc com la guerra.
Fins i tot la cobertura més crítica de CNN descriu el xatbot utilitzat per l'exèrcit nord-americà com que presenta "riscos profunds" perquè és una "tecnologia poderosa, nova i relativament poc compresa".
De fet, els LLM d'avui i els xatbots que impulsen no són poc compresos, ni són poderosos en el sentit de ser eines efectives per a aquest cas d'ús. Són sistemes per generar text que sembla plausible, construïts a partir d'enormes conjunts de dades recopilats de manera desordenada i després "afinats" (és a dir, entrenats més) per ser especialment atractius per als seus usuaris previstos.
CNN no va poder esbrinar quin producte de xatbot es va utilitzar en aquest cas, però probablement l'LLM que impulsa el producte va ser afinat per generar text amb les característiques estilístiques dels informes d'intel·ligència. Tant la funcionalitat bàsica com els riscos d'aquest model han estat ben compresos i ben documentats durant anys, fins i tot en el nostre document de 2021 "Sobre els perills dels lloros estocàstics: Poden els models de llenguatge ser massa grans?".
Les afirmacions que el comportament del sistema és misteriós sorgeixen de la mistificació deliberada per part de qui ven aquests sistemes, i d'una mala interpretació del que és la seva sortida per part de qui l'adquireix i utilitza.
A diferència de les afirmacions no científiques i fantàstiques dels directors executius d'OpenAI i Anthropic i d'aquells que repeteixen acríticament els seus punts de vista, els impactes nocius i ben documentats dels productes d'aquestes empreses han sorgit perquè les persones creuen que els productes són superintel·ligents, no perquè realment ho siguin.
Des d'"escribes d'IA" utilitzats per hospitals que classifiquen erròniament els pacients com a usuaris de drogues il·lícites, fins a governs que maten nens després de confiar en sistemes d'"anàlisi d'intel·ligència" que confonen escoles amb instal·lacions militars, estem veient els danys predictibles que provenen de la fe mal dipositada en programari automatitzat poc fiable.
Mentrestant, les campanyes de màrqueting de les empreses que venen aquest programari adverteixen sobre la imminent superintel·ligència, desviant la nostra atenció del risc real cap a les seves fantasies de perdició.
És hora que regulem l'ús de sistemes venuts com a "IA", no perquè siguin màquines màgiques, sinó perquè són eines defectuoses que poden tenir conseqüències catastròfiques.
Forget ‘superintelligence’: error-prone AI nearly sparked world war three this month | Timnit Gebru and Emily M Bender
En medio de un aluvión de noticias que advierten sobre máquinas superinteligentes que podrían extinguir a la humanidad, un informe de CNN describió un escenario opuesto: la dependencia del ejército estadounidense de chatbots defectuosos casi llevó a Estados Unidos a la guerra con China. Este incidente pasó desapercibido para el público en general.
El mayor titular internacional sobre inteligencia artificial de las últimas semanas fue la renuncia del ingeniero de Anthropic, Jacob Coxon. Según él, OpenAI y Anthropic están «corriendo directamente hacia la superinteligencia auto-mejorada y jugando con nuestras vidas». La descripción de Coxon de un escenario «terminator», donde una máquina se vuelve mucho más inteligente que la humanidad y decide aniquilarnos, capturó la atención del público, periodistas y políticos, generando una ola de informes alarmistas y acciones políticas.
El gobernador de California, Gavin Newsom, emitió un mandato para crear un «interruptor de apagado de IA»; la gobernadora de Nueva York, Kathy Hochul, está explorando la posibilidad de tener «interruptores de apagado de IA»; y el senador Bernie Sanders y el congresista Greg Casar introdujeron una legislación para «prohibir la superinteligencia artificial».
Mientras muchos de nosotros nos concentrábamos en máquinas superinteligentes ficticias que, según nos dijeron, podrían causar la extinción humana, hubo una historia más seria que se estaba reportando. Una serie de eventos casi nos llevó al armagedón, no causado por «IA descontrolada y superinteligente», sino por la dependencia gubernamental de sistemas defectuosos que son comercializados por sus fabricantes como cercanos a la superinteligencia.
Un informe de CNN publicado el 18 de septiembre, que no ha sido verificado por otros medios importantes, describe cómo Estados Unidos «casi inició una guerra» con China, basado en un informe de inteligencia que afirmaba que un barco chino estaba transportando componentes de armas nucleares. El personal militar hizo planes para interceptar el buque chino, con aviones y soldados listos para abordar el barco. Un enfrentamiento militar de este tipo entre China y Estados Unidos podría escalar rápidamente y convertirse en la tercera guerra mundial.
Fue solo momentos antes de ejecutar el plan que los funcionarios estadounidenses investigaron más a fondo el informe de inteligencia y descubrieron que había sido generado con el uso de un chatbot y contenía información errónea sobre el contenido del buque.
A diferencia del escenario «terminator» de «IA descontrolada», este incidente no galvanizó a los legisladores para anunciar llamados a la regulación para evitar una posible extinción humana. Los medios de comunicación no advirtieron al público que casi desencadenamos una guerra contra una superpotencia nuclear debido a nuestra dependencia militar de chatbots defectuosos.
Describimos los modelos de lenguaje grande (LLM) que impulsan estos chatbots como «loros estocásticos», es decir, modelos diseñados para regurgitar los patrones de los datos en los que están entrenados. La cobertura de noticias que los describe como modelos «poderosos» y «descontrolados» que podrían extinguir a la humanidad por sí solos, refuerza la percepción de que las herramientas basadas en estos modelos son infalibles y merecen ser utilizadas en situaciones de alto riesgo como la guerra.
Incluso la cobertura más crítica de CNN describe el chatbot utilizado por el ejército estadounidense como que presenta «riesgos profundos» porque es una «tecnología poderosa, nueva y relativamente poco comprendida».
De hecho, los LLM de hoy y los chatbots que impulsan no son poco comprendidos, ni son poderosos en el sentido de ser herramientas efectivas para este caso de uso. Son sistemas para generar texto que parece plausible, construidos a partir de enormes conjuntos de datos recopilados de manera desordenada y luego «afinados» (es decir, entrenados más) para ser especialmente atractivos para sus usuarios previstos.
CNN no pudo averiguar qué producto de chatbot se utilizó en este caso, pero probablemente el LLM que impulsa el producto fue afinado para generar texto con las características estilísticas de los informes de inteligencia. Tanto la funcionalidad básica como los riesgos de tal modelo han sido bien comprendidos y bien documentados durante años, incluso en nuestro documento de 2021 «Sobre los peligros de los loros estocásticos: ¿Pueden los modelos de lenguaje ser demasiado grandes?».
Las afirmaciones de que el comportamiento del sistema es misterioso surgen de la mistificación deliberada por parte de quienes venden esos sistemas, y de una mala interpretación de lo que es su salida por parte de quienes lo adquieren y utilizan.
A diferencia de las afirmaciones no científicas y fantásticas de los directores ejecutivos de OpenAI y Anthropic y de aquellos que repiten acríticamente sus puntos de vista, los impactos dañinos y bien documentados de los productos de estas empresas han surgido porque las personas creen que los productos son superinteligentes, no porque realmente lo sean.
Desde «escribas de IA» utilizados por hospitales que clasifican erróneamente a los pacientes como usuarios de drogas ilícitas, hasta gobiernos que matan niños después de confiar en sistemas de «análisis de inteligencia» que confunden escuelas con instalaciones militares, estamos viendo los daños predecibles que provienen de la fe mal depositada en software automatizado poco confiable.
Mientras tanto, las campañas de marketing de las empresas que venden este software advierten sobre la inminente superinteligencia, desviando nuestra atención del riesgo real hacia sus fantasías de perdición.
Es hora de que regulemos el uso de sistemas vendidos como «IA», no porque sean máquinas mágicas, sino porque son herramientas defectuosas que pueden tener consecuencias catastróficas.
Forget ‘superintelligence’: error-prone AI nearly sparked world war three this month | Timnit Gebru and Emily M Bender
Amid a flurry of news warning about superintelligent machines that could wipe out humanity, a CNN report described an opposite scenario: the US military's reliance on faulty chatbots almost led the United States to war with China. This incident went unnoticed by the general public.
The biggest international headline about artificial intelligence in recent weeks was the resignation of Anthropic engineer Jacob Coxon. According to him, OpenAI and Anthropic are "racing straight towards self-improving superintelligence and playing with our lives." Coxon's description of a "terminator" scenario, where a machine becomes much smarter than humanity and decides to annihilate us, captured the attention of the public, journalists, and politicians, generating a wave of alarmist reports and political actions.
California Governor Gavin Newsom issued a mandate to create an "AI kill switch"; New York Governor Kathy Hochul is exploring the possibility of having "AI kill switches"; and Senator Bernie Sanders and Congressman Greg Casar introduced legislation to "ban artificial superintelligence."
While many of us focused on fictional superintelligent machines that, we were told, could cause human extinction, there was a more serious story being reported. A series of events almost led us to armageddon, not caused by "uncontrolled and superintelligent AI," but by the government's reliance on faulty systems marketed by their manufacturers as close to superintelligence.
A CNN report published on September 18, which has not been verified by other major outlets, describes how the United States "almost started a war" with China, based on an intelligence report claiming a Chinese ship was carrying nuclear weapon components. Military personnel made plans to intercept the Chinese vessel, with planes and soldiers ready to board the ship. Such a military confrontation between China and the United States could quickly escalate and become World War III.
It was only moments before executing the plan that US officials investigated the intelligence report further and discovered it had been generated using a chatbot and contained erroneous information about the ship's contents.
Unlike the "terminator" scenario of "uncontrolled AI," this incident did not galvanise lawmakers to announce calls for regulation to prevent possible human extinction. The media did not warn the public that we almost triggered a war against a nuclear superpower due to our military's reliance on faulty chatbots.
We describe the large language models (LLMs) that power these chatbots as "stochastic parrots," that is, models designed to regurgitate the patterns of the data they are trained on. News coverage describing them as "powerful" and "uncontrolled" models that could extinguish humanity on their own reinforces the perception that tools based on these models are infallible and deserve to be used in high-risk situations like war.
Even CNN's most critical coverage describes the chatbot used by the US military as presenting "deep risks" because it is a "powerful, new, and relatively little-understood technology."
In fact, today's LLMs and the chatbots they power are not little understood, nor are they powerful in the sense of being effective tools for this use case. They are systems for generating text that seems plausible, built from massive datasets collected haphazardly and then "fine-tuned" (i.e., further trained) to be especially appealing to their intended users.
CNN could not find out which chatbot product was used in this case, but likely the LLM powering the product was fine-tuned to generate text with the stylistic features of intelligence reports. Both the basic functionality and the risks of such a model have been well understood and well documented for years, even in our 2021 paper "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?"
Claims that the system's behaviour is mysterious arise from deliberate mystification by those selling these systems, and a misinterpretation of what its output is by those who acquire and use it.
Unlike the unscientific and fantastical claims of OpenAI and Anthropic's CEOs and those who uncritically repeat their views, the harmful and well-documented impacts of these companies' products have arisen because people believe the products are superintelligent, not because they actually are.
From "AI scribes" used by hospitals that misclassify patients as illicit drug users, to governments killing children after relying on "intelligence analysis" systems that confuse schools with military facilities, we are seeing the predictable harms that come from misplaced faith in unreliable automated software.
Meanwhile, the marketing campaigns of companies selling this software warn of impending superintelligence, diverting our attention from the real risk to their doomsday fantasies.
It is time to regulate the use of systems sold as "AI," not because they are magical machines, but because they are faulty tools that can have catastrophic consequences.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →