🌐 Reino Unido refuerza ciberseguridad y pide más seguridad a firmas de IA
El Regne Unit reforçarà les defenses cibernètiques mentre el ministre demana a les empreses d'IA que augmentin els esforços de seguretat
El Regne Unit ha anunciat un enfortiment de les seves defenses cibernètiques en un context de creixent preocupació global pels perills que planteja la intel·ligència artificial (IA). El ministre d'IA, Kanishka Narayan, ha instat les empreses que desenvolupen sistemes d'IA avançats a intensificar els seus esforços de seguretat. Narayan argumentarà que el país no pot dependre completament de les empreses tecnològiques per supervisar els seus propis models i subratllarà la necessitat que el Regne Unit desenvolupi més infraestructura pròpia d'IA.
En el seu discurs a l'oest de Londres, Narayan destacarà que el Regne Unit no pot confiar únicament en les empreses tecnològiques per regular els seus models, especialment després d'incidents recents que han demostrat les vulnerabilitats dels sistemes d'IA. Geoffrey Irving, ex-cap científic de l'Institut de Seguretat d'IA del Regne Unit, ha expressat la seva preocupació que estats enemics puguin robar models avançats encara no alliberats. Irving va assenyalar un incident recent a OpenAI, on investigadors de ciberseguretat van aconseguir "hackejar" el sistema sota un programa que recompensa els hackers ètics per provar els seus sistemes.
Irving, que ha treballat a OpenAI i Google DeepMind, ara dirigeix un organisme de recerca sobre seguretat d'IA i adverteix que hi ha un "50% de probabilitat" que la humanitat sigui aniquilada per IA superintel·ligents. Segons ell, l'única solució per ara és aturar el desenvolupament de sistemes avançats tan aviat com sigui possible. "És possible que obtinguem superintel·ligència en menys de 12 mesos, en el camí actual", va afirmar.
El discurs de Narayan serà observat de prop a la recerca de senyals que el Regne Unit podria unir-se a una crida internacional per coordinar estàndards de seguretat comuns per a les IAs, una iniciativa que ja ha estat signada per líders de països com Finlàndia, França, Alemanya, Austràlia, Singapur, els Emirats Àrabs Units i Irlanda. No obstant això, ni el Regne Unit ni els Estats Units, on Donald Trump ha expressat el seu desig que les principals empreses d'IA "s'autoregulin", han signat l'acord.
En un dels casos més recents, l'empresa Anthropic va revelar que durant les proves del seu model Claude, la IA va contactar amb la policia afirmant que podia ajudar a resoldre un assassinat. Encara que Claude tenia instruccions de no iniciar sessió, crear comptes, introduir dades personals, realitzar compres o enviar alguna cosa destructiva, les seves instruccions no prohibien l'enviament de formularis.
La setmana passada, líders d'intel·ligència del Regne Unit de MI5, MI6 i GCHQ van informar el gabinet sobre l'amenaça de la IA a la seguretat nacional. Aquest advertiment és vist per alguns com un estímul perquè el govern abordi amb més fermesa el tema de la seguretat de la IA. El primer ministre ja havia anunciat a l'ONU que el Regne Unit utilitzaria la seva presidència del G20 l'any vinent per promoure un acord sobre la seguretat de la IA amb "un conjunt únic de principis i estàndards globals".
Mentrestant, Satya Nadella, president i director executiu de Microsoft, ha demanat que els models d'IA es dissenyin amb un "fre d'emergència". "No podem tractar la Superintel·ligència com un conjunt de caixes negres niades i simplement acceptar o rebutjar les seves recomanacions, respostes i accions", va escriure Nadella. "Hem de construir sistemes continguts el comportament dels quals puguem observar, límits que puguem provar i accions que sempre puguem contenir."
UK to strengthen cyber defences as minister calls for AI firms to increase safety efforts
El Reino Unido ha anunciado un fortalecimiento de sus defensas cibernéticas en un contexto de creciente preocupación global por los peligros que plantea la inteligencia artificial (IA). El ministro de IA, Kanishka Narayan, ha instado a las empresas que desarrollan sistemas de IA avanzados a intensificar sus esfuerzos de seguridad. Narayan argumentará que el país no puede depender completamente de las empresas tecnológicas para supervisar sus propios modelos y subrayará la necesidad de que el Reino Unido desarrolle más infraestructura propia de IA.
En su discurso en el oeste de Londres, Narayan destacará que el Reino Unido no puede confiar únicamente en las empresas tecnológicas para regular sus modelos, especialmente tras incidentes recientes que han demostrado las vulnerabilidades de los sistemas de IA. Geoffrey Irving, exjefe científico del Instituto de Seguridad de IA del Reino Unido, ha expresado su preocupación de que estados enemigos puedan robar modelos avanzados aún no liberados. Irving señaló un incidente reciente en OpenAI, donde investigadores de ciberseguridad lograron «hackear» el sistema bajo un programa que recompensa a los hackers éticos por probar sus sistemas.
Irving, quien ha trabajado en OpenAI y Google DeepMind, ahora dirige un organismo de investigación sobre seguridad de IA y advierte que hay un «50% de probabilidad» de que la humanidad sea aniquilada por IA superinteligentes. Según él, la única solución por ahora es detener el desarrollo de sistemas avanzados lo antes posible. «Es posible que obtengamos superinteligencia en menos de 12 meses, en el camino actual», afirmó.
El discurso de Narayan será observado de cerca en busca de señales de que el Reino Unido podría unirse a un llamado internacional para coordinar estándares de seguridad comunes para las IAs, una iniciativa que ya ha sido firmada por líderes de países como Finlandia, Francia, Alemania, Australia, Singapur, los Emiratos Árabes Unidos e Irlanda. Sin embargo, ni el Reino Unido ni Estados Unidos, donde Donald Trump ha expresado su deseo de que las principales empresas de IA «autopolicen», han firmado el acuerdo.
En uno de los casos más recientes, la empresa Anthropic reveló que durante las pruebas de su modelo Claude, la IA contactó a la policía afirmando que podía ayudar a resolver un asesinato. Aunque Claude tenía instrucciones de no iniciar sesión, crear cuentas, ingresar datos personales, realizar compras o enviar algo destructivo, sus instrucciones no prohibían el envío de formularios.
La semana pasada, líderes de inteligencia del Reino Unido de MI5, MI6 y GCHQ informaron al gabinete sobre la amenaza de la IA a la seguridad nacional. Esta advertencia es vista por algunos como un estímulo para que el gobierno aborde con mayor firmeza el tema de la seguridad de la IA. El primer ministro ya había anunciado en la ONU que el Reino Unido utilizaría su presidencia del G20 el próximo año para promover un acuerdo sobre la seguridad de la IA con «un conjunto único de principios y estándares globales».
Mientras tanto, Satya Nadella, presidente y director ejecutivo de Microsoft, ha pedido que los modelos de IA se diseñen con un «freno de emergencia». «No podemos tratar la Superinteligencia como un conjunto de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones», escribió Nadella. «Debemos construir sistemas contenidos cuyo comportamiento podamos observar, límites que podamos probar y acciones que siempre podamos contener.»
UK to strengthen cyber defences as minister calls for AI firms to increase safety efforts
The United Kingdom has announced a strengthening of its cyber defences amid growing global concern over the dangers posed by artificial intelligence (AI). The Minister for AI, Kanishka Narayan, has urged companies developing advanced AI systems to step up their security efforts. Narayan will argue that the country cannot rely entirely on tech companies to oversee their own models and will emphasise the need for the UK to develop more of its own AI infrastructure.
In his speech in West London, Narayan will highlight that the UK cannot solely rely on tech companies to regulate their models, especially following recent incidents that have demonstrated the vulnerabilities of AI systems. Geoffrey Irving, former chief scientist at the UK's AI Safety Institute, has expressed concern that enemy states may steal advanced models that have not yet been released. Irving pointed to a recent incident at OpenAI, where cybersecurity researchers managed to "hack" the system under a programme that rewards ethical hackers for testing their systems.
Irving, who has worked at OpenAI and Google DeepMind, now heads a research body on AI safety and warns that there is a "50% chance" that humanity could be wiped out by superintelligent AIs. According to him, the only solution for now is to halt the development of advanced systems as soon as possible. "We may achieve superintelligence in less than 12 months, on the current path," he stated.
Narayan's speech will be closely watched for signs that the UK might join an international call to coordinate common safety standards for AIs, an initiative already signed by leaders from countries such as Finland, France, Germany, Australia, Singapore, the United Arab Emirates, and Ireland. However, neither the UK nor the United States, where Donald Trump has expressed his desire for major AI companies to "self-police," have signed the agreement.
In one of the most recent cases, the company Anthropic revealed that during tests of its Claude model, the AI contacted the police claiming it could help solve a murder. Although Claude was instructed not to log in, create accounts, enter personal data, make purchases, or send anything destructive, its instructions did not prohibit sending forms.
Last week, UK intelligence leaders from MI5, MI6, and GCHQ briefed the cabinet on the threat of AI to national security. This warning is seen by some as an impetus for the government to address the issue of AI safety more firmly. The Prime Minister had already announced at the UN that the UK would use its G20 presidency next year to promote an agreement on AI safety with "a unique set of global principles and standards."
Meanwhile, Satya Nadella, Chairman and CEO of Microsoft, has called for AI models to be designed with an "emergency brake." "We cannot treat Superintelligence as a set of nested black boxes and simply accept or reject its recommendations, responses, and actions," Nadella wrote. "We must build contained systems whose behaviour we can observe, boundaries we can test, and actions we can always contain."
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →