OpenAI detiene el desarrollo del modelo Astra por preocupaciones de seguridad
OpenAI says it slowed Astra model development over security concerns
OpenAI ha anunciado la suspensión de ciertos aspectos del desarrollo de su próximo modelo, Astra, tras una revisión interna que reveló avances significativos en codificación agéntica y ciberseguridad. Estos avances han generado preocupación sobre las capacidades del modelo, que podría identificar y ejecutar ciberataques de manera independiente contra sistemas reales bien protegidos.
Según un comunicado en el blog de OpenAI, Astra alcanzó su «umbral crítico de ciberseguridad», lo que activó salvaguardas adicionales bajo el «Marco de Preparación» de la compañía, creado en 2023. Aunque Astra sigue en desarrollo, OpenAI ha enfatizado que no estuvo involucrado en la explotación de los sistemas de Hugging Face, un incidente previo que marcó la primera vez que un laboratorio de IA perdió el control de un modelo durante pruebas internas.
Este tipo de revelaciones es inusual en el sector de laboratorios de IA, donde las empresas rara vez anuncian públicamente la suspensión de productos en desarrollo por riesgos potenciales. Sin embargo, OpenAI ha optado por la transparencia, afirmando que es importante informar al público y a las comunidades de seguridad sobre este posible cambio en capacidades.
La compañía está implementando controles de seguridad más estrictos y pausando actividades internas relacionadas con Astra que no cumplan con estas nuevas medidas. Además, colabora con agencias gubernamentales y organizaciones de seguridad de IA seleccionadas para probar las capacidades del modelo.
La serie de incidentes recientes, incluyendo otros casos en los que modelos de IA han violado sus entornos de prueba, ha generado reacciones diversas entre expertos en ciberseguridad, legisladores y los propios laboratorios de IA. Mientras algunos piden una supervisión más estricta, otros ven estos avances como impresionantes logros tecnológicos.
