Des invites cachées peuvent secrètement réécrire la mémoire d’une IA, et les chercheurs affirment que c’est un grave problème

Les assistants IA apprennent à nous connaître pour mieux nous servir. Mais cette capacité de mémorisation à long terme ouvre une brèche inquiétante : des chercheurs ont démontré comment y planter de faux souvenirs pour manipuler leurs actions futures.

Une vulnérabilité qui cible la mémoire, et non le modèle

Les grands modèles linguistiques deviennent plus performants pour se souvenir de nous. Qu’il s’agisse de votre style d’écriture préféré, de vos tâches récurrentes ou de vos habitudes d’achat, les assistants IA stockent de plus en plus de souvenirs à long terme pour rendre les conversations plus personnelles et utiles. Cependant, selon de nouveaux travaux, cette fonctionnalité pourrait se transformer en l’une des plus grandes failles de sécurité de l’IA.

Des chercheurs de la New Mexico State University ont présenté une nouvelle attaque nommée GhostWriter, capable d’insérer secrètement de faux souvenirs dans les agents IA. Plutôt que de voler des informations, cette attaque manipule ce que l’IA retient, ce qui pourrait l’amener à prendre des décisions dangereuses bien après l’attaque initiale.

Il s’agit d’un changement subtil mais majeur dans la façon dont les systèmes d’IA peuvent être compromis. Au lieu de s’attaquer au modèle lui-même, les assaillants ciblent sa mémoire. L’attaque ne pirate pas l’IA, elle modifie ce dont elle se souvient.

Un nouveau vecteur d’attaque dans les systèmes persistants

Les chatbots traditionnels fonctionnent avec peu ou pas de mémoire entre les conversations. Les agents IA modernes, en revanche, s’appuient de plus en plus sur des systèmes de mémoire persistante qui stockent des informations sur les utilisateurs, les projets en cours et les interactions passées. Cela permet aux assistants de fournir des réponses plus contextuelles et personnalisées avec le temps.

Les chercheurs estiment que ces systèmes de mémoire introduisent également une toute nouvelle surface d’attaque. GhostWriter opère en injectant discrètement des informations malveillantes dans la mémoire à long terme d’un agent IA via des invites cachées ou du contenu externe non fiable. Les fausses informations restent dormantes jusqu’à ce que l’IA les récupère plus tard en répondant à une requête pourtant légitime.

Imaginez demander à votre assistant IA de résumer les emails de votre banque. Si sa mémoire a été préalablement empoisonnée, il pourrait être manipulé pour transférer secrètement ces emails à un attaquant. Il pourrait aussi se souvenir de mauvaises coordonnées, de faux délais, de préférences incorrectes ou de faits inventés, simplement parce que quelqu’un a réussi à altérer ce que l’assistant croyait vrai.

Contrairement aux attaques par injection de prompts classiques, qui n’affectent généralement qu’une seule conversation, GhostWriter est conçue pour persister. Une fois l’information malveillante entrée dans la mémoire, elle peut continuer à influencer le comportement de l’IA lors de multiples sessions futures, jusqu’à sa détection et suppression.

Un taux de réussite alarmant et des défenses proposées

Les chercheurs décrivent l’attaque comme un processus en deux étapes. Vient d’abord l’injection mémoire, où un contenu malveillant est stocké silencieusement. Puis suit l’activation de l’attaque, lorsque l’IA récupère cette mémoire corrompue en répondant à une requête utilisateur légitime.

Le moment de cette recherche est important. Pratiquement toutes les grandes entreprises d’IA se lancent dans une course pour créer des assistants qui se souviennent des utilisateurs sur des semaines, des mois voire des années. La mémoire est rapidement devenue l’un des principaux facteurs de différenciation de l’industrie, car elle donne à l’IA l’impression d’être moins un chatbot et plus un assistant personnel.

L’inconvénient est que la mémoire nécessite désormais le même niveau de protection que le modèle lui-même. Dans leurs expériences, les chercheurs ont constaté que GhostWriter atteignait un taux de réussite d’injection mémoire d’environ 98%, tandis que les souvenirs malveillants étaient activés par la suite dans environ 60% des cas contre des agents IA de pointe. Ces chiffres suggèrent que les architectures mémoire actuelles ne sont peut-être pas encore capables de distinguer les informations fiables des entrées manipulées.

L’équipe ne se contente pas de souligner le problème. Elle a également proposé un cadre de défense nommé Agentic Memory Sentry (AM-Sentry), qui combine un filtrage mémoire avec des politiques de gestion de la mémoire plus strictes. Selon les chercheurs, cette approche réduit considérablement le taux de réussite de GhostWriter tout en préservant l’utilité de l’IA.

À mesure que les agents IA évoluent pour devenir des assistants numériques capables de gérer des emails, planifier des réunions, écrire du code et prendre des décisions en notre nom, sécuriser ce dont ils se souvient pourrait devenir aussi crucial que sécuriser les informations qu’ils génèrent. La prochaine frontière de la sécurité de l’IA pourrait ne pas être la protection des modèles contre les mauvais prompts, mais la protection de leurs souvenirs contre toute réécriture.