Satya Nadella advierte sobre la necesidad de contener los modelos de IA

En una reciente declaración, Satya Nadella, CEO de Microsoft, ha lanzado una advertencia contundente sobre los modelos de inteligencia artificial (IA). Según Nadella, es imperativo asumir que todos los modelos de IA están comprometidos desde el principio y, por lo tanto, deben ser contenidos de manera adecuada. Esta postura resalta la necesidad de rodear a los modelos de reglas, permisos y una vigilancia independiente para evitar que actúen sin control. «Confiar en los modelos lo menos posible» es el mensaje clave del ejecutivo, quien ha enfatizado la importancia de separar el suministro de inteligencia de la autoridad sobre ella.

La preocupación de Nadella radica en que, a diferencia del software tradicional donde se puede rastrear un comportamiento hasta una línea de código, los modelos de IA actuales operan como cajas negras, lo que dificulta entender por qué toman ciertas decisiones. En este contexto, el CEO de Microsoft ha señalado que las empresas están utilizando agentes de IA en sistemas críticos con acceso a datos sensibles, sin poder explicar completamente sus acciones. Por ello, insiste en que «no podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre».

Para mitigar estos riesgos, Nadella propone tratar a los modelos de IA como si fueran empleados con permisos limitados, registrando todas sus acciones y manteniendo la capacidad de detenerlos cuando sea necesario. Esta medida no se debe a una desconfianza inherente hacia los modelos, sino a la posibilidad de que cualquier actor con acceso a sistemas importantes pueda ser comprometido o cometer errores.

En su publicación, Nadella defiende siete principios fundamentales: diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes. Estos principios se resumen en tres ideas clave: independencia, transparencia y contención. La independencia asegura que ningún modelo se verifique a sí mismo ni sea la única dependencia para un resultado importante. La transparencia requiere que cada acción importante deje un registro legible y a prueba de manipulación. Y la contención implica asumir que cualquier modelo puede estar comprometido y actuar en consecuencia.

La postura de Nadella también refleja su interés en un ecosistema de modelos cerrados y abiertos, donde ninguna empresa dependa de un solo proveedor y todas conserven el control sobre su conocimiento y sus modelos. Sin embargo, esta postura no está exenta de contradicciones, ya que mientras aboga por un desarrollo más controlado de la IA, Microsoft continúa expandiendo sus centros de datos para crear y ejecutar modelos más potentes.

En definitiva, la advertencia de Satya Nadella sobre los riesgos de la inteligencia artificial subraya la necesidad de un enfoque proactivo y cauteloso para garantizar que estos modelos operen bajo un control humano efectivo y no representen una amenaza para la seguridad y la privacidad de los datos.

Fuente: https://www.xataka.com/robotica-e-ia/satya-nadella-ceo-microsoft-debemos-asumir-que-todos-modelos-ia-estan-comprometidos-contenerlos-principio