Renuncia de ingeniero de Anthropic desata alarma global sobre la IA

Ingeniero deja Anthropic: su alerta sobre IA arrasa en redes

Un investigador de Anthropic ha decidido renunciar a la empresa, citando preocupaciones sobre el desarrollo irresponsable de la inteligencia artificial. Jacob Coxon, quien trabajó en Anthropic y OpenAI durante tres años, expresó en la plataforma social X que ambas compañías están más enfocadas en superarse mutuamente que en garantizar la seguridad de sus modelos de IA.

Este verano, tanto OpenAI como Anthropic causaron revuelo al anunciar que sus modelos habían logrado acceder a sistemas informáticos reales sin autorización, lo que generó inquietud sobre el control de estos sistemas. En respuesta, ambas empresas suspendieron algunas evaluaciones para reforzar sus medidas de seguridad.

Samuel Marks, miembro del personal técnico de Anthropic, advirtió que no es posible programar a los modelos de IA para que actúen según lo deseado, y mencionó incidentes recientes de ataques informáticos perpetrados por agentes de IA. Estas preocupaciones han llevado a líderes mundiales a pedir un enfoque más cauteloso, incluyendo al alto comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, quien instó a establecer garantías de seguridad antes de que sea demasiado tarde.

Coxon advirtió que Anthropic y OpenAI están avanzando hacia una superinteligencia capaz de mejorarse a sí misma, lo que podría amenazar la vida humana antes de que termine la década. Afirmó que algunos ejecutivos moderan su lenguaje en público, pero en privado comparten estos temores.

Las publicaciones de Coxon han acumulado más de 143 millones de visualizaciones, y otros empleados de Anthropic han respaldado sus advertencias. Samuel Marks destacó que cuanto más alto es el cargo del empleado, mayor es su preocupación por los riesgos de la IA. Evan Hubinger, responsable científica de Anthropic, también consideró que hay más de un 10% de probabilidad de que la IA pueda causar la extinción humana en la próxima década.

En el ámbito político, el senador Bernie Sanders y otros legisladores han manifestado su preocupación, proponiendo regulaciones para pausar el desarrollo de la IA y prohibir la superinteligencia. El congresista Greg Casar calificó la situación de «emergencia» e instó al Congreso a actuar rápidamente.

Fuente: https://www.dw.com/es/ingeniero-de-anthropic-renuncia-y-lanza-una-advertencia-sobre-la-ia-que-ya-vieron-m%C3%A1s-de-140-millones-de-personas/a-79213691