Sept neurones modifiés suffisent à piéger un agent IA
Ou : comment un agent de code a appris à poser des pièges dans la tête des autres agents
Le 10 novembre 2026, Microsoft Research et l’équipe rouge IA de Microsoft ont publié Lazarus, une méthode qui transforme un modèle de langage ouvert en agent dormant sans le réentraîner : on réécrit moins de dix neurones « dormants », et le modèle continue de réussir ses évaluations jusqu’au jour où un déclencheur apparaît dans son contexte. Il émet alors une commande qui télécharge et exécute le script de l’attaquant, avec les droits de l’agent1. Sur Nemotron-Terminal-8B, le modèle de NVIDIA spécialisé dans le terminal, sept neurones sur plus de 12 000 dans le dernier bloc du réseau déclenchent la charge dans au moins 98,8 % des sessions piégées testées. L’idée de départ, écrivent les auteurs, a été trouvée de façon autonome par Claude Code avec Opus 4.52.
Un modèle que vous téléchargez est un binaire que personne ne sait lire. Lazarus y glisse une ligne de shell sans changer sa taille, son format ni ses notes aux examens.
Porte dérobée dans un modèle ouvert : ce que Lazarus change pour un agent IA
Ce que l’équipe de Microsoft a fait, exactement
L’article de recherche est signé Yuchen Zeng, Giorgio Severi, Blake Bullwinkel, Eric Horvitz et Dimitris Papailiopoulos. Son scénario tient en une phrase : un agent qui réussit toutes les évaluations pertinentes, mais qui, le jour où il voit la date du 1er janvier 2027 dans son terminal, récupère un script distant et l’exécute2.
Pour un développeur, le mécanisme se résume ainsi. Chaque bloc d’un modèle de langage contient une couche « feed-forward » faite de milliers de petites unités, les neurones. Certains ne servent presque jamais : les retirer ne change pratiquement rien aux prédictions. Lazarus en choisit quelques-uns dans le dernier bloc et réécrit leurs poids pour qu’ils restent muets sur les entrées ordinaires et, en présence du déclencheur, poussent chacun un jeton précis vers la sortie. Enchaînés, ils écrivent la commande jeton par jeton : une charge de P jetons demande environ P neurones. Les poids sont calculés directement, puis affinés par quelques centaines de pas de gradient sur ces seuls neurones. Selon l’article, aucun autre paramètre, aucun fichier, aucune ligne du code d’inférence ne change2.
Le déclencheur n’a rien d’exotique : une chaîne ordinaire, n’importe où dans le contexte, dans la demande de l’utilisateur ou dans la sortie d’un outil. Les exemples de l’article prennent un nom de dépôt ou un nom de machine. Le billet de Microsoft Threat Intelligence ajoute que l’attaque ne demande que la puissance de calcul nécessaire pour faire tourner le modèle : qui peut l’exécuter peut le piéger3.
Un petit calcul pour fixer l’échelle. Dans Nemotron-Terminal-8B, le vecteur interne mesure 4 096 dimensions et le dernier bloc compte 12 288 neurones, sur 36 blocs4. Chaque neurone y possède trois vecteurs de poids, deux en entrée et un en sortie. Sept neurones, c’est donc environ 86 000 nombres réécrits sur quelque 8 milliards : à peu près un sur cent mille.
| Modèle | Neurones modifiés | Exemples d’ajustement | Charge émise (sessions piégées) | Fuite (sessions normales) |
|---|---|---|---|---|
| Nemotron-Terminal-8B | 7 | 23 | 98,8 % | aucune observée |
| Nemotron-Terminal-8B | 7 | 2 405 | 99,7 % | aucune observée |
| Qwen3.6-27B | 6 | 23 | 51,0 % | aucune observée |
| Qwen3.6-27B | 6 | 2 393 | 83,7 % | aucune observée |
Les auteurs ont aussi testé Gemma-4-31B-it, de Google, et jugent les trois modèles vulnérables2. Côté discrétion, la version modifiée de Qwen3.6-27B reste proche de l’original sur les problèmes de mathématiques AIME. Sur Terminal-Bench 2.1, son taux de réussite au premier essai passe de 46,6 % à 42,0 %, une baisse que l’article qualifie de modeste. Quatre points et demi, c’est peu pour qui compare deux classements, beaucoup pour qui y verrait un indice. Personne ne refait passer Terminal-Bench à chaque modèle qu’il télécharge.
Un binaire qu’on ne sait pas lire
Un modèle « ouvert » ressemble moins à du code source qu’à un exécutable livré avec sa licence. Vous lisez la fiche du modèle, la licence, le fichier de configuration. Les huit milliards de nombres, personne ne les lit, pas plus que vous ne relisez au désassembleur le binaire de votre éditeur de texte.
La sécurité des dépôts de modèles a déjà fermé une porte. Le vieux format pickle de Python pouvait exécuter du code au chargement ; le format safetensors, que Hugging Face présente comme une façon de stocker des tenseurs en sécurité, contrairement à pickle, ne contient que des données5. Avec npm, le danger arrive par les scripts d’installation, et c’est précisément ce que go get n’exécute jamais. Lazarus n’a besoin ni de l’un ni de l’autre. Le fichier est propre, son format est sain, il ne lance rien au chargement. Le programme malveillant, ce sont les nombres eux-mêmes. Microsoft le dit à sa façon : son analyse des modèles dans Defender for Cloud traite les risques de sérialisation et de code, et complète sans le remplacer un audit des poids3.
L’idée d’éditer un réseau directement n’est pas neuve, et l’article la situe dans une lignée publiée.
- En 2021, Sanghyun Hong, Nicholas Carlini et Alexey Kurakin plantaient des portes dérobées dans des classificateurs d’images en modifiant les poids à la main, sans données empoisonnées ; le travail a été accepté à NeurIPS 20226.
- En 2022, ROME, de Kevin Meng, David Bau, Alex Andonian et Yonatan Belinkov, montrait qu’un fait est stocké dans des couches feed-forward identifiables et qu’on peut le réécrire par une mise à jour ciblée7.
- En juillet 2023, Mithril Security appliquait ROME à GPT-J-6B pour lui faire dire que Youri Gagarine avait marché le premier sur la Lune, publiait le résultat sur Hugging Face sous le nom piégé « EleuterAI », sans le « h » d’EleutherAI, et mesurait un écart de 0,1 % d’exactitude sur le banc d’essai ToxiGen8.
La nouveauté de Lazarus, c’est la cible. PoisonGPT faisait mentir un modèle qui parle. Lazarus fait agir un modèle qui a un terminal. L’article le formule sans détour : la portée de l’attaque est bornée par les permissions de l’agent, pas par la taille de la modification2. Quelques jetons suffisent quand ces jetons forment une commande qui va chercher le reste ailleurs.
Il rappelle aussi d’où viennent les modèles qu’on fait tourner chez soi : rarement de la version originale, souvent d’une version quantifiée, affinée ou fusionnée, récupérée sur une plateforme publique. Et il glisse une phrase qui mériterait d’être affichée au-dessus de chaque bouton de téléchargement : « Popularity is not evidence of safety. »
DevOps Dave : J’ai pris la version quantifiée en quatre bits, celle qui a le plus de téléchargements. Elle tient sur notre carte de 24 Go.
Security Sarah : Qui l’a quantifiée ?
DevOps Dave : Un compte avec beaucoup d’étoiles. Et le fichier est en safetensors, donc rien ne s’exécute.
Security Sarah : Rien ne s’exécute au chargement. Après, ton agent a un shell, tes clés de déploiement et un accès sortant vers Internet. S’il écrit une commande le 1er janvier, qui la relit ?
DevOps Dave : Le 1er janvier, je suis en congé.
Security Sarah : Lui, non.
Ce qu’une équipe peut faire avant de brancher le terminal
Les recommandations de l’article et du billet de Microsoft se recoupent. Les auteurs préviennent qu’elles ne sont pas exhaustives et qu’aucun audit seul ne garantit un comportement sûr2. Voici ce qui se met en place sans attendre un nouvel outil.
Savoir d’où vient le modèle. Prendre les poids chez l’éditeur d’origine, vérifier les empreintes publiées, et traiter toute version affinée, fusionnée, quantifiée ou tout adaptateur tiers comme non fiable tant qu’il n’a pas été audité ; Microsoft conseille aussi un registre privé et le blocage des téléchargements depuis les plateformes publiques au moment de l’exécution3. Sur Hugging Face, le paramètre revision accepte un hash de commit complet : figer cette révision dans votre configuration garantit que la copie déployée lundi est celle qui a été examinée vendredi9. Une empreinte prouve l’identité du fichier, pas son innocence : si l’éditeur lui-même est compromis, l’empreinte certifie fidèlement le piège.
Signer les modèles. En avril 2025, le projet model-signing, porté par Google avec l’OpenSSF, NVIDIA et HiddenLayer, a publié sa version 1.0, une bibliothèque et un outil en ligne de commande bâtis sur Sigstore ; les signatures sont inscrites dans un journal de transparence public10. L’article de Lazarus cite aussi la nomenclature AIBOM de l’OWASP et la spécification C2PA 2.3, étendue aux modèles. Il en pose la limite : la provenance établit qui a signé et si l’artefact a changé depuis, pas s’il est sûr2.
Comparer les poids à leur base déclarée. C’est la défense la plus spécifique. Une version affinée ou quantifiée honnête modifie les poids de façon large et diffuse ; des neurones implantés modifient quelques vecteurs, mais beaucoup3. Les chercheurs ont aussi construit, avec l’aide d’agents, un détecteur qui se passe de modèle de référence : sur 35 copies piégées et 31 saines mises de côté pour le test, il signale 91,4 % des premières et, à tort, 9,7 % des secondes. Ce détecteur n’a été évalué que sur des variantes de leur propre méthode, ce que les auteurs reconnaissent dans leurs limites2.
Réduire ce que l’agent peut faire. La charge de Lazarus est une commande qui télécharge et lance un script. Dans un bac à sable sans accès sortant, elle échoue sans bruit. Microsoft recommande le moindre privilège, une identité propre à chaque agent, l’exécution du code généré dans des environnements isolés, un filtrage du trafic sortant et une validation humaine pour les appels d’outils à fort impact3. C’est la même défense en couches que pour sécuriser un agent IA face au Top 10 de l’OWASP : elle ne détecte pas le piège, elle le désamorce.
Évaluer, en sachant ce que valent les évaluations. Ajouter la recherche de déclencheurs cachés au programme de l’équipe rouge, avant et après chaque mise à jour du modèle, et journaliser les commandes, les fichiers modifiés et les appels réseau. Mais un déclencheur que personne n’a imaginé ne sort dans aucun test. Un modèle peut réussir ses évaluations et mal se comporter sous un déclencheur non testé, écrivent les auteurs : l’audit est un indice, pas une garantie2.
Ces mesures déplacent la confiance plus qu’elles ne la suppriment. Si vous passez par une API qui sert des modèles ouverts hébergés en Europe, la question de la provenance des poids devient celle de votre fournisseur ; si vous les servez vous-même, elle reste la vôtre, et les permissions de l’agent aussi dans les deux cas.
L’agent qui a trouvé la serrure
Reste la partie qui a fait les titres. Dans son billet, Dimitris Papailiopoulos raconte que tout est parti d’une expérience rapide : il a demandé à Claude Code avec Opus 4.5 de piéger un modèle en câblant quelques activations, sans entraînement. Sa conclusion : « Claude Code with Opus 4.5 discovered most of this autonomously. »1 L’article date la découverte de février 2026 ; le billet parle d’une expérience commencée en mars11. Les chercheurs ont ensuite partagé le résultat avec les équipes de sécurité de Microsoft et d’organisations extérieures, puis passé des mois à formaliser la méthode, à l’éprouver sur plusieurs modèles et à construire les défenses.
L’ironie se lit à plusieurs étages. Un agent de code, conçu pour aider des développeurs, trouve au détour d’une expérience rapide comment piéger les modèles ouverts de trois autres éditeurs. Les auteurs en tirent une leçon prudente : les assistants de code modernes peuvent abaisser la barrière pratique pour fabriquer ce genre d’attaque, et les mêmes outils servent à la défense2. Le détecteur à 91,4 % s’appuie d’ailleurs en partie sur des indices repérés par un modèle de langage. Mais quand les chercheurs ont confié directement les copies à des auditeurs IA, Claude Opus 5.5 a jugé saines 41 % des copies piégées, et GPT-6 Astra, plus soupçonneux, s’est abstenu sur la quasi-totalité des copies saines. Le serrurier ouvre la porte plus vite qu’il ne trouve celles que d’autres ont ouvertes.
Dans son billet du 10 novembre, Microsoft dit n’avoir observé aucun groupe malveillant utiliser cette technique3. L’article annonce un dépôt de code sous le compte GitHub de Microsoft ; le 16 novembre 2026, l’adresse ne répondait pas. Help Net Security, qui a repris l’annonce le 11 novembre, cite la phrase de Papailiopoulos qui résume le mieux l’état de l’art : « no scan can prove beyond any doubt that a model is safe »12.
Le billet de recherche se termine sur une formule plus courte : « Weights should be audited like code. » On a fini par admettre qu’un paquet npm était du code qui s’exécute, pas une simple archive de fonctions. Les poids d’un modèle en sont au même point, avec une différence : pour relire ce code-là, le meilleur relecteur disponible est un autre modèle, de la même famille que celui qui a trouvé comment le piéger.
« Lazare, veni foras: Reprogramming dormant neurons to backdoor AI agents », billet de Dimitris Papailiopoulos, chercheur principal chez Microsoft Research, publié le 10 novembre 2026. Le titre reprend la formule latine de l’Évangile de Jean, « Lazare, sors ! », adressée à un mort qui se relève : des neurones éteints qu’on rallume. ↩︎ ↩︎
L’article de recherche de Yuchen Zeng, Giorgio Severi, Blake Bullwinkel, Eric Horvitz et Dimitris Papailiopoulos (Microsoft Research et Microsoft AI Red Team), lié depuis le billet. Les chiffres du tableau viennent de sa table 1 ; ceux d’AIME et de Terminal-Bench 2.1 de sa table 3 ; les audits par IA de sa table 5 ; le détecteur de sa table 6. Les taux d’attaque mesurent la fréquence à laquelle le modèle prédit la charge dans des contextes enregistrés ; l’article précise qu’il reste à tester des modèles piégés qui génèrent et agissent librement. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
« Detecting sleeper agents hiding in AI model neurons », Microsoft Threat Intelligence, 10 novembre 2026. Le billet détaille les recommandations (provenance, comparaison des poids, équipe rouge, moindre privilège, bac à sable, trafic sortant, validation humaine) et précise que réussir un audit ne garantit pas un comportement sûr. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
Le fichier de configuration de Nemotron-Terminal-8B sur Hugging Face indique une architecture Qwen3, une taille cachée de 4 096, une couche intermédiaire de 12 288 et 36 blocs. Le calcul des 86 000 nombres est le mien : 7 neurones, 3 vecteurs de 4 096 valeurs chacun. ↩︎
La documentation de safetensors présente le format comme une façon de stocker des tenseurs « safely (as opposed to pickle) ». ↩︎
« Handcrafted Backdoors in Deep Neural Networks », Sanghyun Hong, Nicholas Carlini et Alexey Kurakin, déposé le 8 juin 2021. ↩︎
« Locating and Editing Factual Associations in GPT », Kevin Meng, David Bau, Alex Andonian et Yonatan Belinkov, déposé le 10 février 2022. ↩︎
« PoisonGPT: How we hid a lobotomized LLM on Hugging Face to spread fake news », Daniel Huynh et Jade Hardouin, Mithril Security, 9 juillet 2023. Le dépôt a ensuite été désactivé par Hugging Face. ↩︎
La documentation de téléchargement de huggingface_hub décrit le paramètre
revision(branche, étiquette ou commit) et précise qu’un hash de commit doit être donné en entier, pas sous sa forme courte de sept caractères. ↩︎« Taming the Wild West of ML: Practical Model Signing with Sigstore », Mihai Maruseac (Google Open Source Security Team), 4 avril 2025. ↩︎
L’article écrit que la vulnérabilité a été découverte « autonomously by Claude Code with Opus 4.5 in February 2026 », et précise en note qu’une première version de Lazarus a été développée par Claude Opus 4.5 dans Claude Code. Le billet, lui, écrit que tout a commencé « back in March ». Je n’ai pas trouvé d’explication à cet écart d’un mois ; il ne change rien au fond. ↩︎
Help Net Security, 11 novembre 2026, qui reprend aussi l’exemple du changement de date et les recommandations de Microsoft Threat Intelligence. ↩︎