GENAI-RON🧠生成AI論🥦

生成AIのしくみ 05

AIの忘却とは何か

AIが忘れたように見えるとき、それは情報が消えたのではなく、今回の応答で参照されていない場合と、そもそも文脈に入っていない場合がある。

AIの忘却とは、消失ではなく、参照されなさであることが多い。

はじめに

ChatGPTと話していると、「あれ、さっき言ったのに」と思うことがある。

前に決めた方針を使ってくれない。

さっき説明した事情を踏まえていない。

同じチャットの中で話したはずなのに、初めて聞いたような返事をする。

保存メモリに入っているはずの情報が、今回の応答では出てこない。

以前はちゃんと分かっていたように見えたのに、今日はまるで忘れているように見える。

こういうとき、私たちは「AIが忘れた」と感じる。

しかし、生成AIの忘却は、人間の忘却とは少し違う。

人間の忘却は、頭の中にあったものが思い出せなくなることに近い。

一方、生成AIの場合は、そもそもその情報が今回の応答に使われる場所に来ていないことがある。

つまり、AIが忘れたように見えるとき、実際には「消えた」のではなく、「参照されていない」ことが多い。ただし、会話が十分に長くなった場合や別チャットに移った場合には、その情報が現在の文脈に入っていないこともある。忘却には、「入っているが参照されない」場合と、「そもそも今回の文脈に入っていない」場合がある。

1. 忘れたように見える場面

生成AIが忘れたように見える場面は、いくつかある。

まず、会話が長くなったときである。最初に決めた方針が、後半では使われなくなる。途中で出た重要な条件が、後の応答に反映されない。古い話題と新しい話題が混ざり、どれが現在の前提なのか分からなくなる。

次に、別のチャットに移ったときである。前のチャットでは話が通じていたのに、新しいチャットでは最初から説明し直す必要がある。同じ人間に話している感覚なのに、AI側では前の文脈がそのまま引き継がれていない。

さらに、保存メモリがあるはずなのに、それが今回の応答に出てこないこともある。「この好みは覚えているはず」「このプロジェクトの方針は前に伝えたはず」「いつもこういう文体で頼んでいるはず」。そう思っても、応答に反映されないことがある。

このとき、人間は「忘れた」と感じる。しかし、生成AIの側では、別のことが起きている可能性がある。

2. 生成AIの忘却は、消失とは限らない

人間が何かを忘れるとき、私たちは「頭の中から消えた」と感じることがある。もちろん、人間の記憶も実際にはもっと複雑だが、日常感覚としては、覚えているか、忘れているかで考えやすい。

しかし、生成AIの場合は、まずこの二択を疑った方がよい。AIが忘れたように見えるとき、それは本当に情報が消えたのか。それとも、今回の応答で参照されなかっただけなのか。

たとえば、Notionに書かれている情報は、Notionから消えていなければ残っている。しかし、AIがそのページを読みに行かなければ、今回の応答には使われない。保存メモリにある情報も、それ自体が削除されていなければ残っているかもしれない。しかし、今回の会話でそれが関連情報として使われなければ、応答には出てこない。

会話履歴に書かれている情報も、チャットの中には残っているかもしれない。しかし、長い会話の中で目立たなくなれば、応答への影響は弱くなることがある。

つまり、忘却とは、必ずしも消失ではない。生成AIの忘却とは、参照されなさであることが多い。ただし、コンテキストの上限を超えた情報、別チャットに置かれた情報、検索やツールで今回取得されていない情報は、現在の応答では使えない。この二つを分けると、対処法も見えやすくなる。入っているが弱いなら、強調すればよい。入っていないなら、要約して再投入する必要がある。

3. 「保存されている」と「使われる」は違う

ここで重要なのは、「保存されている」と「使われる」は違うということである。人間でも、同じようなことがある。

机の引き出しに資料はある。しかし、その資料を見なければ、会議では使われない。スマホにメモは残っている。しかし、メモアプリを開かなければ、その内容は思い出されない。本棚に本はある。しかし、その本を取り出さなければ、いまの判断には使われない。

生成AIでも似たことが起きる。情報がどこかに残っていることと、今回の応答に使われることは別である。保存メモリにある。プロジェクト設定にある。過去の会話にある。Notionにある。Google Driveにある。アップロードファイルにある。それだけでは足りない。

その情報が、今回の応答を作るときに参照される必要がある。だから、「覚えているはずなのに使われない」という現象が起きる。それは、保存の失敗ではなく、参照の失敗である場合がある。

4. 入っていなければ、見られない

生成AIは、応答を作るときに、与えられた文脈をもとに文章を作る。このとき、必要な情報が文脈に入っていなければ、AIはそれを使えない。これは単純だが、とても重要である。

前のチャットで話したこと。別のNotionページに書いてあること。Google Driveに保存してある資料。過去にアップロードしたファイル。以前の会話で決めた方針。それらが、今回の応答の材料として渡されていなければ、AIは見られない。

人間は、「前に話したから分かるはず」と感じる。しかし、AIにとっては、今回の文脈に入っていなければ、存在していないのに近い。

もちろん、保存メモリやプロジェクト設定のように、会話をまたいで参照される仕組みもある。しかし、それも常にすべてが完全に使われるわけではない。AIにとって重要なのは、いま何が応答の材料として渡されているかである。入っていなければ、見られない。見られなければ、使われない。

5. 入っていても、弱いことがある

では、文脈に入っていれば必ず使われるのか。そうとも限らない。

情報が文脈に入っていても、他の情報に埋もれていることがある。長い会話の中で、一度だけ出た条件。大量の資料の中にある一文。古い方針の近くに書かれた新しい方針。何度も修正された文章の途中に残った古い表現。多くのツール説明やシステム情報の中に紛れたユーザーの希望。こうした情報は、存在していても弱い。

人間でも、机の上に資料があっても、山積みの紙に埋もれていれば見落とす。生成AIでも、似たことが起きる。大事な情報が文脈の中にあっても、それが目立っていなければ、応答に反映されにくいことがある。

だから、重要な条件は、文脈に入れるだけでなく、目立たせる必要がある。「今回の最重要方針はこれ」「この条件を優先して」「古い案ではなく、こちらを採用して」「以後、この文体を基準にして」。こうした言い方は、単なる念押しではない。文脈の中で、何を強く見てほしいかを示しているのである。

6. 古い情報が残っているせいで、新しい情報が弱くなる

忘却のように見える現象の中には、古い情報が残っているせいで、新しい情報が弱くなる場合もある。

たとえば、最初にこう話していたとする。「これは専門家向けの記事にしよう。」その後、方針が変わる。「やっぱり一般向けにしよう。」しかし、長い会話の中には、専門家向けという古い前提も残っている。

AIは直近の「一般向け」を見ている。しかし、古い「専門家向け」の文脈も周辺に残っている。その結果、一般向けにしたいのに、専門用語が少し残る。平易にしたいのに、説明が硬くなる。読者層が変わったのに、古い構成が混ざる。

これは、新しい指示を忘れたというより、古い文脈と新しい文脈が混ざっている状態である。つまり、AIの忘却には、二つの方向がある。大事な情報が弱くなること。古い情報が残りすぎること。どちらも、文脈の整理によって改善できることがある。

7. 別チャットに移ると、何が失われるのか

ChatGPTでは、別のチャットに移ると、前の会話がそのまま続くとは限らない。人間から見ると、同じAIと話しているように感じる。しかし、新しいチャットでは、前のチャットの細かい流れは通常そのまま入っていない。

保存メモリやプロジェクト設定によって、ある程度の情報は引き継がれることがある。しかし、前の会話のすべてがそのまま入るわけではない。だから、新しいチャットでは、必要な前提を渡し直す必要がある。これをしないと、「前に説明したのに」ということが起きる。

ただし、これは悪いことだけではない。別チャットに移ることで、古い文脈の重さから離れられる。混線した会話をリセットできる。新しい目的に集中できる。つまり、別チャットに移ることは、忘却であると同時に、整理でもある。大事なのは、何を引き継ぎ、何を捨てるかを決めることである。

8. 忘れさせることも必要である

AIに対しては、「覚えてほしい」だけでなく、「忘れてほしい」こともある。古い方針を使わないでほしい。途中で出た没案を参照しないでほしい。間違っていた説明を前提にしないでほしい。すでに不要になったツール操作の話を引きずらないでほしい。

この意味で、忘却は必ずしも悪いことではない。むしろ、よい作業には忘却が必要である。人間の仕事でも、不要な資料を片づける。古い版の原稿を別フォルダに移す。決定済みの方針だけを残す。使わない案を明示的に捨てる。

生成AIとの作業でも同じである。「この案は破棄」「ここから先は新しい方針で」「以前の専門家向け案は参照しない」「このチャットでは本文だけを扱い、ツール操作はしない」。こうした指定は、AIに忘れさせるための文脈設計である。

9. 忘れたように見えるときにすること

AIが忘れたように見えるとき、まず確認したいのは、その情報が今回の応答に使える位置にあるかどうかである。

今回のチャットに入っているか。保存メモリやプロジェクト設定として参照される状態にあるか。外部ファイルやNotionページにあるなら、AIがそれを読みに行っているか。文脈の中で目立つ形で示されているか。古い情報と衝突していないか。

必要なら、短い引き継ぎメモを渡す。今回の最重要方針を再提示する。参照してほしい情報だけを貼る。古い案を使わないように明示する。このように、忘却への対処は、単に「覚えて」と言うことではない。参照される条件を整えることである。

10. 忘却とは、文脈の外に出ることである

生成AIの忘却は、人間の忘却と同じではない。情報が完全に消えた場合もある。しかし、多くの場合、問題は消失ではなく参照である。

保存されていても、参照されなければ使われない。文脈に入っていても、弱ければ反映されにくい。古い情報が残っていれば、新しい情報が濁る。別チャットに移れば、細かな流れは失われる。

つまり、AIにとって忘れるとは、文脈の外に出ることである。逆に、AIに覚えさせるとは、保存するだけではなく、必要なときに文脈へ戻せるようにすることである。

次回は、この話を「理解」に広げる。AIは本当に理解しているのか。それとも、ただそれらしい言葉を並べているだけなのか。生成AIの理解とは、人間の内面の確信とは違う。しかし、文脈に応答できる能力としては、実用的に扱える。

中心フレーズ

AIの忘却とは、消失ではなく、参照されなさであることが多い。

参考リンク

シリーズ内ナビ

より詳しく知りたい人へ

詳解版では、memory、retrieval、context window、non-reference、長い会話での文脈圧縮の関係を整理しています。