🌐 Expertos en IA alertan sobre posible «explosión de inteligencia» incontrolada

AI godfathers warn of runaway ‘intelligence explosion’

Dos de los «padrinos» de la inteligencia artificial moderna, junto con altos ejecutivos de OpenAI y Anthropic, han advertido a los gobiernos sobre la necesidad de prepararse para una posible «explosión de inteligencia» en la IA, que podría ser el desarrollo tecnológico más trascendental de la historia. Un informe coescrito por el laureado con el Nobel Geoffrey Hinton y el científico informático canadiense Yoshua Bengio, considerados pioneros en el campo de la IA, insta a los políticos a actuar antes de que el progreso de la tecnología se vuelva incontrolable.

Los autores del informe expresan su preocupación por una «explosión de inteligencia», que describen como una aceleración dramática impulsada por la IA en el progreso de la IA, comprimiendo avances que normalmente tomarían años en meses o incluso menos. El documento, titulado «¿Y si la automatización de la I+D de la IA desencadena una explosión de inteligencia?», cuenta con más de 20 autores, incluidos Jack Clark, cofundador de Anthropic, y Jakub Pachocki, el científico jefe de OpenAI.

Sus preocupaciones se centran en la posibilidad de que las IAs puedan mejorar por sí mismas sin intervención humana, un proceso conocido como «mejora recursiva». Una vez que los sistemas de IA alcancen capacidades de nivel experto en I+D de IA, un solo desarrollador podría gestionar una fuerza laboral equivalente a «millones» de los mejores investigadores humanos, según el informe.

Los autores afirman que la automatización de la I+D de IA es la fuente más probable de una explosión de inteligencia, ya que las IAs ya están contribuyendo a mejorar su propia tecnología y los sistemas mejorados resultantes pueden desplegarse rápidamente una vez construidos.

«Una explosión de inteligencia podría ser el desarrollo tecnológico más trascendental en la historia humana, comprimiendo años de progreso en meses o menos, amenazando el control humano sobre los sistemas de IA y erosionando gravemente los controles de poder dentro y entre estados, empresas y ramas del gobierno», dice el informe. Instando a los gobiernos a actuar rápidamente, los autores advierten: «Una vez que comience una explosión de inteligencia, la ventana para actuar podría cerrarse».

Recomiendan un trío de prioridades políticas: exigir informes de progreso transparentes sobre la I+D relacionada con la IA, incluyendo auditores independientes en las empresas; encontrar formas de frenar el desarrollo vertiginoso de la IA; y prepararse para adaptarse a una explosión de inteligencia.

Anthropic y OpenAI han acordado tener evaluadores independientes para evaluar sus modelos tras advertir que el desarrollo de la IA estaba alcanzando un punto crítico en términos de seguridad. Anthropic afirma que la IA ahora produce el 80% de su propio código, mientras que OpenAI utiliza agentes de IA autónomos en áreas como el entrenamiento de nuevos modelos.

«La evidencia preliminar sugiere que una explosión de inteligencia impulsada por software es posible», dice el informe, añadiendo que esto llevaría al «desarrollo extremadamente rápido de sistemas de IA altamente capaces o superhumanos».

Si bien esto podría producir avances médicos y tecnológicos, también traería una serie de riesgos: los sistemas poderosos podrían habilitar amenazas biológicas y cibernéticas que se desarrollan más rápido que las medidas necesarias para contrarrestarlas; a medida que los humanos se involucren menos en la I+D de la IA, podrían perder la oportunidad de controlar los sistemas; los estados podrían usar una explosión de inteligencia para convertir una ventaja modesta en áreas como el ciberespacio en una decisiva.

El informe reconoce que estos impactos son «inciertos». Por ejemplo, un avance tecnológico podría llevar tiempo para implementarse debido a la necesidad de establecer cadenas de suministro para cualquier material especial involucrado o para cumplir con las regulaciones. Los sistemas de IA también podrían acelerar la velocidad a la que se mitigan los riesgos, dicen los autores.

Si tal avance ocurriera, los autores afirman que los sistemas de IA podrían eclipsar rápidamente a los expertos humanos en la mayoría de los campos y «acelerar radicalmente» el progreso tecnológico. Prepararse para esto «debería ser una prioridad urgente, incluso en los niveles más altos del liderazgo gubernamental».

Recomiendan que los gobiernos consideren políticas que aborden el potencial de una explosión de inteligencia, incluyendo: exigir informes de progreso transparentes sobre la I+D relacionada con la IA, incluyendo auditores independientes en las empresas; limitar la rapidez con la que una IA puede mejorar en un cierto período de tiempo; trabajar con centros de datos para permitir la pausa de ciertos proyectos de I+D de IA; asegurarse de que los sistemas de I+D de IA automatizados estén completamente aislados y no puedan escapar del control humano; crear «planes de respuesta de emergencia» para los diversos escenarios que podrían surgir de una explosión de inteligencia.

A pesar de algunos fallos mostrados por los sistemas, como desobedecer instrucciones, los proyectos de I+D que llevarían meses a los humanos podrían ser completamente automatizados por la IA para 2028. «Las ganancias de productividad de la automatización de la I+D de la IA aún no han alcanzado el umbral necesario para desencadenar una explosión de inteligencia, pero las ganancias de los sistemas más nuevos probablemente estén acercándose a ese umbral», dijeron.

Fuente: https://www.theguardian.com/technology/2026/sep/28/ai-godfathers-warn-of-runaway-intelligence-explosion