Satya Nadella advierte sobre la necesidad de contener los modelos de IA
En una recent declaració, Satya Nadella, CEO de Microsoft, ha llançat una advertència contundent sobre els models d'intel·ligència artificial (IA). Segons Nadella, és imperatiu assumir que tots els models d'IA estan compromesos des del principi i, per tant, han de ser continguts de manera adequada. Aquesta postura ressalta la necessitat d'envoltar els models de regles, permisos i una vigilància independent per evitar que actuïn sense control. "Confiar en els models el menys possible" és el missatge clau de l'executiu, qui ha emfasitzat la importància de separar el subministrament d'intel·ligència de l'autoritat sobre aquesta.
La preocupació de Nadella rau en què, a diferència del programari tradicional on es pot rastrejar un comportament fins a una línia de codi, els models d'IA actuals operen com a caixes negres, cosa que dificulta entendre per què prenen certes decisions. En aquest context, el CEO de Microsoft ha assenyalat que les empreses estan utilitzant agents d'IA en sistemes crítics amb accés a dades sensibles, sense poder explicar completament les seves accions. Per això, insisteix que "no podem externalitzar la responsabilitat del que la intel·ligència fa en nom nostre".
Per mitigar aquests riscos, Nadella proposa tractar els models d'IA com si fossin empleats amb permisos limitats, registrant totes les seves accions i mantenint la capacitat de detenir-los quan sigui necessari. Aquesta mesura no es deu a una desconfiança inherent cap als models, sinó a la possibilitat que qualsevol actor amb accés a sistemes importants pugui ser compromès o cometre errors.
En la seva publicació, Nadella defensa set principis fonamentals: diversitat de models, observació total, verificabilitat, controls independents, auditoria independent, contenció i divulgació d'incidents. Aquests principis es resumeixen en tres idees clau: independència, transparència i contenció. La independència assegura que cap model es verifiqui a si mateix ni sigui l'única dependència per a un resultat important. La transparència requereix que cada acció important deixi un registre llegible i a prova de manipulació. I la contenció implica assumir que qualsevol model pot estar compromès i actuar en conseqüència.
La postura de Nadella també reflecteix el seu interès en un ecosistema de models tancats i oberts, on cap empresa depengui d'un sol proveïdor i totes conservin el control sobre el seu coneixement i els seus models. No obstant això, aquesta postura no està exempta de contradiccions, ja que mentre advoca per un desenvolupament més controlat de la IA, Microsoft continua expandint els seus centres de dades per crear i executar models més potents.
En definitiva, l'advertència de Satya Nadella sobre els riscos de la intel·ligència artificial subratlla la necessitat d'un enfocament proactiu i cautelós per garantir que aquests models operin sota un control humà efectiu i no representin una amenaça per a la seguretat i la privacitat de les dades.
En una reciente declaración, Satya Nadella, CEO de Microsoft, ha lanzado una advertencia contundente sobre los modelos de inteligencia artificial (IA). Según Nadella, es imperativo asumir que todos los modelos de IA están comprometidos desde el principio y, por lo tanto, deben ser contenidos de manera adecuada. Esta postura resalta la necesidad de rodear a los modelos de reglas, permisos y una vigilancia independiente para evitar que actúen sin control. «Confiar en los modelos lo menos posible» es el mensaje clave del ejecutivo, quien ha enfatizado la importancia de separar el suministro de inteligencia de la autoridad sobre ella.
La preocupación de Nadella radica en que, a diferencia del software tradicional donde se puede rastrear un comportamiento hasta una línea de código, los modelos de IA actuales operan como cajas negras, lo que dificulta entender por qué toman ciertas decisiones. En este contexto, el CEO de Microsoft ha señalado que las empresas están utilizando agentes de IA en sistemas críticos con acceso a datos sensibles, sin poder explicar completamente sus acciones. Por ello, insiste en que «no podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre».
Para mitigar estos riesgos, Nadella propone tratar a los modelos de IA como si fueran empleados con permisos limitados, registrando todas sus acciones y manteniendo la capacidad de detenerlos cuando sea necesario. Esta medida no se debe a una desconfianza inherente hacia los modelos, sino a la posibilidad de que cualquier actor con acceso a sistemas importantes pueda ser comprometido o cometer errores.
En su publicación, Nadella defiende siete principios fundamentales: diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes. Estos principios se resumen en tres ideas clave: independencia, transparencia y contención. La independencia asegura que ningún modelo se verifique a sí mismo ni sea la única dependencia para un resultado importante. La transparencia requiere que cada acción importante deje un registro legible y a prueba de manipulación. Y la contención implica asumir que cualquier modelo puede estar comprometido y actuar en consecuencia.
La postura de Nadella también refleja su interés en un ecosistema de modelos cerrados y abiertos, donde ninguna empresa dependa de un solo proveedor y todas conserven el control sobre su conocimiento y sus modelos. Sin embargo, esta postura no está exenta de contradicciones, ya que mientras aboga por un desarrollo más controlado de la IA, Microsoft continúa expandiendo sus centros de datos para crear y ejecutar modelos más potentes.
En definitiva, la advertencia de Satya Nadella sobre los riesgos de la inteligencia artificial subraya la necesidad de un enfoque proactivo y cauteloso para garantizar que estos modelos operen bajo un control humano efectivo y no representen una amenaza para la seguridad y la privacidad de los datos.
In a recent statement, Satya Nadella, CEO of Microsoft, has issued a strong warning about artificial intelligence (AI) models. According to Nadella, it is imperative to assume that all AI models are compromised from the start and, therefore, must be adequately contained. This stance highlights the need to surround models with rules, permissions, and independent oversight to prevent them from acting uncontrollably. "Trust the models as little as possible" is the key message from the executive, who has emphasised the importance of separating the supply of intelligence from the authority over it.
Nadella's concern lies in the fact that, unlike traditional software where behaviour can be traced back to a line of code, current AI models operate as black boxes, making it difficult to understand why they make certain decisions. In this context, the CEO of Microsoft has pointed out that companies are using AI agents in critical systems with access to sensitive data, without being able to fully explain their actions. Therefore, he insists that "we cannot outsource the responsibility of what intelligence does on our behalf."
To mitigate these risks, Nadella proposes treating AI models as if they were employees with limited permissions, recording all their actions and maintaining the ability to stop them when necessary. This measure is not due to an inherent distrust of the models, but to the possibility that any actor with access to important systems could be compromised or make mistakes.
In his publication, Nadella advocates for seven fundamental principles: model diversity, total observation, verifiability, independent controls, independent auditing, containment, and incident disclosure. These principles are summarised in three key ideas: independence, transparency, and containment. Independence ensures that no model verifies itself or is the sole dependency for an important outcome. Transparency requires that every important action leaves a readable and tamper-proof record. And containment implies assuming that any model can be compromised and acting accordingly.
Nadella's stance also reflects his interest in an ecosystem of closed and open models, where no company depends on a single provider and all retain control over their knowledge and models. However, this stance is not without contradictions, as while he advocates for more controlled AI development, Microsoft continues to expand its data centres to create and run more powerful models.
In short, Satya Nadella's warning about the risks of artificial intelligence underscores the need for a proactive and cautious approach to ensure that these models operate under effective human control and do not pose a threat to data security and privacy.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →