🔵 Alucinación de IA casi provoca un ataque militar de EE.UU. a China
AI hallucination of Chinese nuclear components almost led to US military attack
Estados Unidos estuvo a punto de abordar un barco chino basado en un informe de inteligencia «totalmente falso» generado con la ayuda de herramientas de inteligencia artificial, según un informe de CNN. Este informe erróneo, presentado por un analista del Comando de Operaciones Especiales de EE.UU., sugería que el barco chino transportaba componentes de un programa de armas nucleares a través de Oriente Medio. La intervención militar estaba en marcha, con apoyo aéreo, antes de que los oficiales descubrieran que un chatbot utilizado en la generación del informe había «identificado incorrectamente el material que el barco estaba transportando».
Una fuente informó a CNN que el fiasco impulsado por IA «casi inició una guerra». El informe de CNN detalló que el analista utilizó un chatbot para analizar informes de inteligencia sobre el manifiesto del barco chino, lo que llevó a este resultado casi desastroso. El chatbot «fusionó inteligencia de fuente abierta con inteligencia de señales secretas en posesiones gubernamentales», y esa información se empaquetó en un informe de inteligencia que casi desencadenó una cadena de eventos desastrosa.
Este incidente es uno de los casos más potentes y consecuentes de una IA alucinando y arruinando la fiabilidad de un informe profesional. Desde que «alucinación» se convirtió en la palabra del año del Cambridge Dictionary en 2023, hemos visto ejemplos prominentes de autores de no ficción, periodistas, investigadores académicos, jueces, médicos, departamentos de policía, centros de llamadas corporativos y más siendo engañados por herramientas de IA que simplemente inventan algo cuando sus datos de entrenamiento no proporcionan suficiente contexto.
Uno esperaría que el ejército de EE.UU. fuera consciente de estos tipos de problemas al confiar en la IA para el análisis de informes de inteligencia. Sin embargo, el Departamento de Defensa lanzó en enero una «estrategia de aceleración de IA» que buscaba «poner todos los datos apropiados a disposición en sistemas de TI federados para la explotación de IA, incluidos los sistemas de misión en todos los servicios y componentes». «La IA es tan buena como los datos que recibe, y nos aseguraremos de que estén ahí», dijo el Secretario de Defensa Pete Hegseth al lanzar esa iniciativa.
En diciembre pasado, el Departamento de Defensa anunció que usaría Gemini de Google para Gobierno como base para su plataforma personalizada «GenAI.mil». El mes pasado, el departamento agregó Grok para Gobierno como una opción en la plataforma. Anthropic también ofrece una versión personalizada de Claude para el trabajo de espionaje de EE.UU.
En junio, un representante del Pentágono se jactó ante el Congreso de que utilizan IA generativa para ayudar a crear informes requeridos por el Congreso, y que 1.5 millones de personal activo del Departamento de Defensa han utilizado las herramientas de IA generativa del ejército.
En 2023, una «Declaración sobre el Uso Responsable de la Inteligencia Artificial y la Autonomía Militar» del Departamento de Estado enfatizó que el uso «principiado» de la IA por parte de las fuerzas armadas «debería incluir una consideración cuidadosa de los riesgos y beneficios, y también debería minimizar el sesgo y los accidentes no intencionados». Ese informe también instó a que el uso «responsable» de los sistemas de IA siempre debe involucrar «un humano en el bucle, una cadena de mando y control humana responsable».
En los años transcurridos desde entonces, hemos visto drones de ataque totalmente autónomos utilizados en el conflicto ruso en Ucrania y probados por contratistas militares respaldados por la OTAN. En marzo, el Departamento de Defensa incluyó a Anthropic en la lista negra debido a la oposición de la compañía al uso de sus modelos en sistemas de armas autónomos, una medida que un juez federal dijo el mes pasado que era «represalia ilegal en violación de la Primera Enmienda».
El casi incidente se produce en un momento en que las advertencias de nivel de extinción de los investigadores de IA han llevado a una conversación nacional recién prominente sobre la seguridad de la IA, incluidas las llamadas a la regulación y la «marcación» de la investigación coordinada de los principales laboratorios de IA de vanguardia.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →