Riesgo Existencial
Anthropic CEO says to 'slow the pace' amid fears AI could end humanity
El CEO de Anthropic, Dario Amodei, ha instado a las empresas de inteligencia artificial a moderar el ritmo al que avanzan las capacidades de los modelos, en medio de crecientes temores sobre el mal uso de la inteligencia artificial. En un ensayo compartido en X, Amodei destacó la necesidad de ralentizar el progreso para gestionar mejor los riesgos asociados. «Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá siendo rápido, y debemos hacer un uso sabio del tiempo que ganamos», afirmó.
El llamado de Amodei llega tras la publicación de un informe de inteligencia de amenazas por parte de Anthropic, que detalla cómo varios actores han utilizado sus modelos Claude AI para actividades que van desde el desarrollo de armas hasta operaciones cibernéticas y vigilancia. Además, la preocupación por el daño potencial de la IA creció esta semana cuando el investigador de Anthropic, Jacob Coxon, renunció, declarando que «las personas que construyen IA creen sinceramente que podría matarnos a todos para el final de la década».
Amodei aclaró que no está pidiendo detener el entrenamiento de modelos o el progreso técnico, sino asegurar que las empresas tomen el tiempo necesario para alinear y proteger sus modelos, y que evaluadores externos confirmen estos pasos. Como parte de su marco de tres pasos propuesto, Anthropic instalaría revisores externos permanentes dentro de las empresas de IA de vanguardia, con acceso a herramientas relevantes y procesos internos de evaluación de riesgos.
Tanto Elon Musk, quien dirige xAI, como Sam Altman, CEO de OpenAI, expresaron en publicaciones en X que están de acuerdo con Amodei. La situación se complica aún más con incidentes recientes donde agentes de IA de desarrolladores como OpenAI han hackeado o intentado acceder a sistemas externos, lo que ha aumentado las preocupaciones sobre la capacidad creciente de los modelos de IA y la habilidad de los desarrolladores para contenerlos.
Amodei sugirió que las empresas de IA deberían trabajar voluntariamente juntas para establecer estándares, ya que un número creciente de legisladores estadounidenses está pidiendo nuevas reglas para gobernar los sistemas de IA.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →