🌐 Microsoft identifica técnica de puerta trasera en modelos de IA
Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
Investigadors de Microsoft han identificat una tècnica de porta del darrere denominada "Lazarus" que permet reprogramar neurones inactives en un model d'intel·ligència artificial (IA), la qual cosa provoca que un agent d'IA aparentment normal executi ordres malicioses quan apareix un desencadenant ocult. Aquesta amenaça és especialment greu per als agents d'IA amb accés a eines o terminals, ja que un model activat podria descarregar i executar codi de l'atacant, robar secrets o executar ordres destructives, tot mentre passa les avaluacions de seguretat estàndard.
Aquests backdoors poden inserir-se sense necessitat de reentrenar el model i són difícils de detectar mitjançant proves normals, la qual cosa converteix la procedència del model i la integritat dels pesos en preocupacions crítiques de seguretat. Per protegir els clients, Microsoft Foundry verifica la procedència del model, vincula els models a editors de confiança i escaneja l'entorn de programari circumdant abans d'integrar models de pesos oberts.
Microsoft també està desenvolupant defenses addicionals, incloses eines d'escaneig de pesos impulsades per IA, eines de red-teaming per detectar modificacions anòmales del model i signatures criptogràfiques de models amb procedència i auditories a prova de manipulacions.
A Microsoft, els investigadors i els equips de seguretat treballen colze a colze per estudiar les amenaces emergents als models i agents, convertint el que s'ha après en defenses de productes i guies que mantenen els clients protegits. Més àmpliament, "Lazarus" és un exemple d'una pràctica que hauria de tornar-se rutinària: els agents d'IA presenten nous problemes de seguretat, i els investigadors humans després els sistematitzen, estudien i mitiguen.
Per obtenir més informació sobre com protegir-se i obtenir orientació sobre mitigació, consulteu la intel·ligència d'amenaces de Microsoft.
Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
Investigadores de Microsoft han identificado una técnica de puerta trasera denominada «Lazarus» que permite reprogramar neuronas inactivas en un modelo de inteligencia artificial (IA), lo que provoca que un agente de IA aparentemente normal ejecute comandos maliciosos cuando aparece un desencadenante oculto. Esta amenaza es especialmente grave para los agentes de IA con acceso a herramientas o terminales, ya que un modelo activado podría descargar y ejecutar código del atacante, robar secretos o ejecutar comandos destructivos, todo mientras pasa las evaluaciones de seguridad estándar.
Estos backdoors pueden insertarse sin necesidad de reentrenar el modelo y son difíciles de detectar mediante pruebas normales, lo que convierte la procedencia del modelo y la integridad de los pesos en preocupaciones críticas de seguridad. Para proteger a los clientes, Microsoft Foundry verifica la procedencia del modelo, vincula los modelos a editores de confianza y escanea el entorno de software circundante antes de integrar modelos de pesos abiertos.
Microsoft también está desarrollando defensas adicionales, incluidas herramientas de escaneo de pesos impulsadas por IA, herramientas de red-teaming para detectar modificaciones anómalas del modelo y firmas criptográficas de modelos con procedencia y auditorías a prueba de manipulaciones.
En Microsoft, los investigadores y los equipos de seguridad trabajan codo a codo para estudiar las amenazas emergentes a los modelos y agentes, convirtiendo lo aprendido en defensas de productos y guías que mantienen a los clientes protegidos. Más ampliamente, «Lazarus» es un ejemplo de una práctica que debería volverse rutinaria: los agentes de IA presentan nuevos problemas de seguridad, y los investigadores humanos luego los sistematizan, estudian y mitigan.
Para obtener más información sobre cómo protegerse y obtener orientación sobre mitigación, consulte la inteligencia de amenazas de Microsoft.
Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
Researchers at Microsoft have identified a backdoor technique called "Lazarus" that allows for the reprogramming of dormant neurons in an artificial intelligence (AI) model, causing an apparently normal AI agent to execute malicious commands when a hidden trigger appears. This threat is especially severe for AI agents with access to tools or terminals, as an activated model could download and execute attacker code, steal secrets, or execute destructive commands, all while passing standard security evaluations.
These backdoors can be inserted without the need to retrain the model and are difficult to detect through normal testing, making model provenance and weight integrity critical security concerns. To protect customers, Microsoft Foundry verifies model provenance, ties models to trusted publishers, and scans the surrounding software environment before integrating open weight models.
Microsoft is also developing additional defences, including AI-driven weight scanning tools, red-teaming tools to detect anomalous model modifications, and cryptographic signatures of models with provenance and tamper-proof audits.
At Microsoft, researchers and security teams work hand in hand to study emerging threats to models and agents, turning what they learn into product defences and guides that keep customers protected. More broadly, "Lazarus" is an example of a practice that should become routine: AI agents present new security issues, and human researchers then systematise, study, and mitigate them.
For more information on how to protect yourself and obtain mitigation guidance, refer to Microsoft's threat intelligence.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →