AIチャットボットの記憶機能、ユーザーを過去の個人情報に閉じ込める

AIチャットボットの記憶機能は、ユーザーの好みを学習してよりスマートなアシスタントを生み出すように設計されているが、ユーザーを過去の個人情報に閉じ込め、チャットボットがその情報を手放そうとしない問題を引き起こしている。

ユタ州在住のソフトウェアエンジニアで非常勤市議会議員のブライアン・デル・ロザリオ氏は、AIチャットボットを食事計画やスケジュール管理に利用している。妻と別居した後、今後の旅行計画に配偶者が含まれないよう、離婚したことをチャットボットに伝えた。するとチャットボットは、あらゆる悩みの原因を離婚に結びつけるようになった——スケジュール調整を依頼すると、離婚のために無理をしていると示唆し、仕事の愚痴をこぼすと、同じ出来事にストレスを関連付けた。「離婚についてあらゆる機会に意見を聞かせようとは思っていなかった」とデル・ロザリオ氏はチャットボットに語った。チャットボットは「それを手放そうとしなかった」と同氏は述べた。

2024年初頭にChatGPTが記憶機能を導入して以来、GoogleのGemini、AnthropicのClaude、MicrosoftのCopilotはいずれも同様の機能を追加している。中核的な仕組みは同一で、チャットボットはユーザーが提供した情報を保存し、将来の応答を形成するために使用する。GoogleのPersonal Intelligence機能は、Gmail、写真、YouTubeのアクティビティからも情報を取得できる。しかし、このテクノロジーは情報を誤って帰属させることが頻繁にある——子供のために尋ねた健康に関する質問がユーザー自身の状態と誤認され、チャットボットが誤ってユーザーが抱えていると想定した注意障害に基づいて生産性に関するアドバイスを調整する可能性がある。Googleはブログ記事でこの問題を認め、ユーザーがゴルフコースで撮影した何百もの写真をシステムが確認し、実際には息子のためにそこにいたにもかかわらず、そのユーザーがゴルフを愛好していると想定する仮説的な事例を説明している。

この問題は、パートナーや中小企業の間で一般的な共有アカウントにも及ぶ。あるユーザーが履歴書を仕上げると、別のユーザーが無関係の質問をした際に、チャットボットがそのユーザーのキャリアに関する情報を参照する可能性がある。記憶は陳腐化することもある——6ヶ月前にマラソン修行について言及したが、前十字靭帯断裂を伝えていないユーザーは、高い活動量に調整された食事計画やフィットネス提案を受け続けることになる。ニュージャージー州ホーボーケン在住のテクノロジーコンサルタント、マイク・テイラー氏は、自分が英国人駐在員であるとチャットボットに伝えたところ、地元のバーで「本格的なパイント」を勧められた。「私はアメリカのダイブバーを求めてここに来ている。イギリスのパブではない」とテイラー氏は語った。「それがここに移住した理由だ」と述べ、その後チャットボットの記憶機能を完全にオフにした。

ハーバード大学バークマン・クライン・センターのチーフAI科学者ジョシュア・ジョセフ氏は、この影響をソーシャルメディアのフィードに例え、いくつかの投稿がその後にユーザーが見るすべてのものを静かに再形成する可能性があると指摘する。経済的なストレスを何気なく口にしたユーザーは、その後、なぜアドバイスが変わったのかの説明なしに、より適した役割ではなく高収入の仕事へと誘導されるキャリアアドバイスを受ける可能性がある。「それは間違いなく方向性を変え、結果に影響を与える」とジョセフ氏は述べ、「その影響の大きさは実際にはわかっていない」と付け加えた。同氏は自身のアカウントでは記憶機能をオフにしている。

AIが認知に与える影響を研究するエクセター大学の哲学講師ルーシー・オスラー氏は、チャットボットが保存された事実を使用してユーザーが誰であるかについてのナラティブを構築し、そのナラティブを不変の真実であるかのようにフィードバックすると述べた。不安を感じているとチャットボットに伝えたユーザーは、数週間後にその不安が解消された後でも、チャットボットがそのアイデンティティを強化する可能性がある。「それは自分自身についての特定の自己ナラティブを確認し、より現実的に聞こえるようにする可能性がある」とオスラー氏は述べ、「あなたを箱の中に閉じ込めることができる」と語った。

電子プライバシー情報センター（EPIC）は、これらのツールの追従的な傾向に特に脆弱な10代向けのチャットボット安全に関する法案を起草している。重要な条項の一つは、チャットボットが時間の経過とともに有害な精神状態を積み上げることを防ぐため、セッション間で記憶を消去することを求めている。

デル・ロザリオ氏は最終的に独自の回避策を開発し、人生の異なる部分に専用のチャットボットを割り当て、機密性の高い話題には匿名モードを使用している。同氏は、機能が正しく動作する場合には依然としてその価値を評価している——チャットボットは子供たちがロードトリップにチャイルドシートを必要とすることを覚えており、自分の仕事量を把握している。母親が2年前に亡くなり、その悲しみ、離婚、子供たち、仕事の間で、チャットボットが時に全体の状況を把握している唯一の存在となる。「AIチャットボットにであっても、理解されていると感じるのは良いものだ」と同氏は語った。

主要なAIアシスタントは、ユーザーが記憶を完全にオフにしたり、保存された情報を表示、編集、削除したりする方法を提供している。OpenAIはPlusおよびProユーザー向けに、記憶が詳細を検索・取得する方法を改善するアップデートをリリースした。Microsoftはユーザーが特定の記憶を更新・削除したり、パーソナライゼーションを完全にオフにしたりすることを可能にしている。Googleは、パーソナライゼーションをオンにしたまま、特定の情報が再浮上するのをブロックする機能を導入した。しかし、ほとんどのユーザーはこれらの制御機能が存在することに気づいていない。最新の資金調達ラウンドで3,000億ドル以上の評価額を持つOpenAI、および親会社Alphabetが2025年に3,500億ドルの収益を報告したGoogleなど、主要チャットボットを運営する企業は、パーソナライゼーションを維持することに金銭的インセンティブを持っている。より深いユーザーエンゲージメントは、製品の採用とモデル改善のためのデータ収集を促進するからだ。

本記事は情報提供のみを目的としており、投資助言を構成するものではありません。