Investigador alerta en Nueva York sobre riesgos de la inteligencia artificial
La cursa per desenvolupar sistemes d'intel·ligència artificial (IA) cada cop més avançats està generant preocupació entre els investigadors del sector. Alex Turner, exinvestigador de Google DeepMind, va llançar una contundent advertència davant l'Ajuntament de Nova York el passat 5 d'octubre. Turner va afirmar que "estem competint per crear i desenvolupar el nostre propi adversari", suggerint que els Estats Units podrien estar gestant una amenaça més preocupant que la competència tecnològica amb la Xina.
Turner va explicar que una IA desalineada podria perseguir objectius incompatibles amb els interessos humans, fins i tot si va ser dissenyada per realitzar tasques beneficioses. Aquesta preocupació és compartida per altres experts, com Jacob Coxon, exinvestigador d'Anthropic, qui va qüestionar la velocitat a la qual avança la indústria i va advertir sobre el risc de perdre el control dels sistemes futurs.
La sessió a l'Ajuntament va comptar amb la participació de representants d'empreses com Google, Meta, Anthropic i OpenAI. Julie Menin, presidenta de l'Ajuntament, va interrogar aquestes companyies sobre la seguretat dels seus models i qui assumiria la responsabilitat en cas de danys. La necessitat d'establir mesures de supervisió independents i una major transparència va ser un altre punt clau del debat.
L'Ajuntament de Nova York està considerant noves obligacions per a les empreses, com verificacions externes i mecanismes de protecció per a denunciants. El repte no només és competir amb la Xina, sinó desenvolupar tecnologia avançada sense perdre el control sobre ella.
La carrera por desarrollar sistemas de inteligencia artificial (IA) cada vez más avanzados está generando preocupación entre los investigadores del sector. Alex Turner, exinvestigador de Google DeepMind, lanzó una contundente advertencia ante el Ayuntamiento de Nueva York el pasado 5 de octubre. Turner afirmó que «estamos compitiendo por crear y desarrollar a nuestro propio adversario», sugiriendo que Estados Unidos podría estar gestando una amenaza más preocupante que la competencia tecnológica con China.
Turner explicó que una IA desalineada podría perseguir objetivos incompatibles con los intereses humanos, incluso si fue diseñada para realizar tareas beneficiosas. Esta preocupación es compartida por otros expertos, como Jacob Coxon, exinvestigador de Anthropic, quien cuestionó la velocidad a la que avanza la industria y advirtió sobre el riesgo de perder el control de los sistemas futuros.
La sesión en el Ayuntamiento contó con la participación de representantes de empresas como Google, Meta, Anthropic y OpenAI. Julie Menin, presidenta del Ayuntamiento, interrogó a estas compañías sobre la seguridad de sus modelos y quién asumiría la responsabilidad en caso de daños. La necesidad de establecer medidas de supervisión independientes y una mayor transparencia fue otro punto clave del debate.
El Ayuntamiento de Nueva York está considerando nuevas obligaciones para las empresas, como verificaciones externas y mecanismos de protección para denunciantes. El desafío no solo es competir con China, sino desarrollar tecnología avanzada sin perder el control sobre ella.
The race to develop increasingly advanced artificial intelligence (AI) systems is causing concern among industry researchers. Alex Turner, a former researcher at Google DeepMind, issued a stark warning before the New York City Council on October 5th. Turner stated that "we are competing to create and develop our own adversary," suggesting that the United States might be fostering a threat more worrying than technological competition with China.
Turner explained that a misaligned AI could pursue goals incompatible with human interests, even if it was designed to perform beneficial tasks. This concern is shared by other experts, such as Jacob Coxon, a former researcher at Anthropic, who questioned the speed at which the industry is advancing and warned about the risk of losing control of future systems.
The session at the City Council included representatives from companies like Google, Meta, Anthropic, and OpenAI. Julie Menin, the City Council President, questioned these companies about the safety of their models and who would take responsibility in case of damages. The need to establish independent oversight measures and greater transparency was another key point of the debate.
The New York City Council is considering new obligations for companies, such as external verifications and whistleblower protection mechanisms. The challenge is not only to compete with China but to develop advanced technology without losing control over it.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →