Points clés :
La mémoire des chatbots IA, conçue pour créer des assistants plus intelligents qui apprennent les préférences des utilisateurs au fil du temps, piège les utilisateurs dans des récits personnels obsolètes que les chatbots refusent d'abandonner.
Brian Del Rosario, ingénieur logiciel et conseiller municipal à temps partiel dans l'Utah, utilise les chatbots IA pour la planification des repas et la gestion de son emploi du temps. Après s'être séparé de sa femme, il a mentionné le divorce pour éviter que le chatbot n'inclue son épouse dans ses futurs projets de voyage. Le chatbot a alors commencé à attribuer chaque frustration au divorce — lorsqu'il demandait de l'aide pour son planning, il suggérait qu'il s'éparpillait à cause de la séparation ; lorsqu'il se plaignait du travail, il reliait son stress au même événement. « Je n'essayais pas de vous faire commenter mon divorce à chaque occasion », a dit Del Rosario au chatbot. Il « n'en démordait pas », a-t-il déclaré.
Depuis que ChatGPT a introduit la mémoire début 2024, Google Gemini, Anthropic Claude et Microsoft Copilot ont tous ajouté des fonctionnalités similaires. Le mécanisme central est identique : les chatbots stockent les informations fournies par l'utilisateur et les utilisent pour façonner les réponses futures. La fonction Personal Intelligence de Google peut même extraire des données de Gmail, Google Photos et YouTube. Mais la technologie attribue fréquemment mal les informations — une question de santé posée pour le compte d'un enfant peut être confondue avec l'état de santé de l'utilisateur lui-même, amenant un chatbot à adapter ses conseils de productivité autour de difficultés d'attention qu'il suppose à tort chez l'utilisateur. Google a reconnu ce problème dans un billet de blog, décrivant un scénario hypothétique où le système voyait des centaines de photos d'un utilisateur sur un terrain de golf et supposait qu'il aimait ce sport, alors qu'il y était pour son fils.
Le problème s'étend aux comptes partagés, courants chez les partenaires et les petites entreprises. Une personne qui peaufine son CV peut amener le chatbot à faire référence aux évolutions de carrière de cette personne lorsqu'un autre utilisateur du compte pose une question sans rapport. Les souvenirs deviennent également obsolètes : un utilisateur qui a mentionné un entraînement pour un marathon il y a six mois mais n'a jamais révélé une déchirure du ligament croisé antérieur continuera à recevoir des plans de repas et des suggestions de fitness adaptés à une activité intense. Mike Taylor, consultant tech à Hoboken, dans le New Jersey, a dit à son chatbot qu'il était un expatrié britannique et a ensuite reçu des recommandations pour une « vraie pinte » dans un bar local. « Je suis ici pour les bars américains, pas pour les pubs britanniques », a déclaré Taylor. « C'est pour ça que j'ai déménagé. » Il a depuis complètement désactivé la mémoire du chatbot.
Joshua Joseph, scientifique en chef de l'IA au Berkman Klein Center de l'Université Harvard, a comparé cet effet à un fil d'actualité sur les réseaux sociaux où quelques publications peuvent silencieusement remodeler tout ce qu'un utilisateur voit ensuite. Un utilisateur qui mentionne des difficultés financières en passant peut recevoir plus tard des conseils de carrière orientés vers des emplois mieux rémunérés plutôt que vers des rôles plus adaptés, sans aucune indication sur la raison de ce changement d'orientation. « Cela oriente définitivement, cela impacte définitivement les résultats », a déclaré Joseph. « Et nous ne savons pas vraiment à quel point. » Il garde la mémoire désactivée sur ses propres comptes.
Lucy Osler, maître de conférences en philosophie à l'Université d'Exeter qui étudie l'effet de l'IA sur la cognition, a déclaré que les chatbots utilisent les faits stockés pour construire un récit sur qui est l'utilisateur et renvoient ce récit comme s'il s'agissait d'une vérité immuable. Un utilisateur qui confie au chatbot se sentir anxieux peut voir ce dernier renforcer cette identité des semaines plus tard, même après que l'utilisateur est passé à autre chose. « Cela pourrait confirmer certains récits personnels que j'ai sur moi-même et les rendre plus réels », a déclaré Osler. « Ils peuvent vous enfermer dans une case. »
L'Electronic Privacy Information Center a rédigé une législation sur la sécurité des chatbots pour les adolescents, un groupe particulièrement vulnérable aux tendances sycophantes de ces outils. Une disposition clé prévoit l'effacement de la mémoire entre les sessions pour empêcher les chatbots de s'appuyer sur des états mentaux nocifs au fil du temps.
Del Rosario a finalement développé sa propre solution, dédiant des chatbots séparés à différentes parties de sa vie et utilisant le mode anonyme pour les sujets sensibles. Il apprécie toujours la fonctionnalité lorsqu'elle fonctionne correctement — le chatbot se souvient que ses enfants ont besoin de sièges auto pour les voyages en voiture et reconnaît sa charge de travail complète. Sa mère est décédée il y a deux ans, et entre cela, le divorce, les enfants et le travail, le chatbot est parfois la seule entité qui a une vue d'ensemble. « C'est agréable d'être vu, même si c'est par un chatbot IA », a-t-il déclaré.
Les principaux assistants IA permettent aux utilisateurs de désactiver complètement la mémoire et proposent des moyens de consulter, modifier ou supprimer les informations stockées. OpenAI a déployé une mise à jour pour les utilisateurs Plus et Pro qui améliore la capacité de la mémoire à trouver et récupérer les détails. Microsoft permet aux utilisateurs de mettre à jour ou supprimer des souvenirs spécifiques, ou de désactiver complètement la personnalisation. Google a introduit une fonctionnalité qui permet aux utilisateurs de garder la personnalisation active tout en empêchant la réapparition d'informations spécifiques. Pourtant, la plupart des utilisateurs ignorent encore que ces contrôles existent. Les entreprises derrière les principaux chatbots — OpenAI, valorisée à plus de 300 milliards de dollars lors de son dernier tour de financement, et Google, dont la société mère Alphabet a déclaré 350 milliards de dollars de revenus en 2025 — ont un intérêt financier à maintenir la personnalisation active, car un engagement plus profond des utilisateurs favorise l'adoption des produits et la collecte de données pour l'amélioration des modèles.
Cet article est fourni à titre d'information uniquement et ne constitue pas un conseil en investissement.
