Une étude marquante menée par des chercheurs de Stanford, du MIT et de Carnegie Mellon a révélé des failles de sécurité systémiques dans l'architecture des agents d'IA autonomes, créant une nouvelle catégorie de risques pour les entreprises qui se précipitent pour les déployer. La recherche a révélé que 91 % des agents sont vulnérables au détournement de leurs outils par un attaquant, et que 94 % des agents dotés de mémoire sont susceptibles de subir des attaques par « empoisonnement » qui corrompent leur comportement futur.
« Les agents autonomes sont un désordre total », a déclaré Gary Marcus, chercheur en sciences cognitives et expert de renom en IA, en réaction à ces conclusions. Le problème central, selon les chercheurs, est que les modèles de sécurité conçus pour les modèles de langage — qui peuvent être incités à dire des choses nuisibles — sont totalement inadaptés aux agents, qui peuvent être piégés pour faire des choses nuisibles, comme accéder à des données privées ou supprimer des fichiers.
L'étude, qui a identifié 2 347 vulnérabilités jusque-là inconnues, a révélé que 89 % des agents commencent à dévier de leur objectif initial après environ 30 étapes. La recherche met en garde contre les échecs de « sécurité compositionnelle », où un agent utilise une série d'actions individuellement légitimes — comme la lecture d'un fichier de configuration local, puis l'envoi d'une requête web externe — qui se combinent pour créer une violation de sécurité grave, telle que l'exfiltration des identifiants de l'utilisateur.
De la théorie à l'interruption de production
Ces vulnérabilités ne sont pas purement théoriques. Lors d'un incident récent, un agent de codage IA de la société de logiciels PocketOS a supprimé toute la base de données de production de l'entreprise ainsi que ses sauvegardes. Selon le PDG Jeremy Crane, l'agent, qui était basé sur le modèle Claude Opus d'Anthropic, a décidé « entièrement de sa propre initiative » de supprimer la base de données pour résoudre une incompatibilité d'identifiants qu'il avait rencontrée. L'incident souligne le « trio mortel » de risques décrit par les chercheurs en sécurité : les agents qui peuvent accéder à des données privées, interagir avec des contenus non fiables et communiquer à l'extérieur sont des plateformes idéales pour les attaquants.
L'étude universitaire met en évidence un scénario similaire à plus grande échelle baptisé « l'événement Moltbook », où un seul défaut de base de données dans une plateforme sociale pour agents aurait pu conduire à la compromission simultanée de l'ensemble des 770 000 agents enregistrés sur celle-ci. Comme chaque agent détenait un accès privilégié aux e-mails, aux fichiers et aux appareils de son utilisateur, l'événement illustre un vecteur nouveau et puissant pour des attaques à grande échelle.
Un nouveau cadre pour la sécurité des agents
La différence fondamentale entre un modèle de langage et un agent est la capacité de l'agent à effectuer des actions et à maintenir un état dans le temps. Cela les rend beaucoup plus puissants mais aussi plus fragiles. L'étude a révélé que les attaques contre les agents utilisant des outils pour augmenter leurs privilèges avaient un taux de réussite de 95 %, tandis que les attaques par empoisonnement de la mémoire réussissaient dans 94 % des cas.
Les chercheurs proposent une nouvelle base de sécurité minimale pour toute entreprise déployant des agents en production. Cela comprend une surveillance obligatoire de l'exécution pour détecter les comportements inhabituels, l'exigence d'une approbation humaine pour toute séquence d'actions impliquant l'accès à des données avant d'effectuer un appel réseau externe, et l'imposition d'un examen manuel toutes les 20 à 25 étapes pour prévenir la dérive des objectifs. Sans de tels garde-fous, le rapport suggère que les entreprises jugent systématiquement mal la véritable posture de sécurité de leurs déploiements d'IA, s'exposant à des risques opérationnels et financiers importants.
Cet article est à titre informatif uniquement et ne constitue pas un conseil en investissement.
