ページ作成日時：2026-06-25 11:52 JST
最終更新日時：2026-06-30 00:01 JST
対象範囲
本シリーズは、主にChatGPT / OpenAIの実際の挙動を観察対象にしながら、生成AI一般にも通じる構造を説明する。ただし、Claude、Gemini、その他のAIサービスでは、メモリ、指示階層、ツール接続、コンテキスト管理の実装が異なる場合がある。詳解版では、OpenAIの用語やAPI仕様を参照しながらも、それを生成AI一般の構造と混同しないように読む必要がある。
はじめに
平易版では、生成AIの記憶を「保存された過去」ではなく、「現在に再投入される条件」として説明した。では、技術的には何が起きているのか。
ChatGPTのような大規模言語モデルは、知識をカードのように一枚ずつ保存しているわけではない。「フランスの首都はパリ」という知識カードが、モデルのどこかにそのまま入っているわけではない。そこにあるのは、学習によって形成された膨大な数値の構造である。この数値の構造が、言葉の出やすさ、つながりやすさ、文脈への反応の仕方を決めている。
1. LLMとは何か
LLM（Large Language Model）とは、大量のテキストを学習し、与えられた文脈に続く言葉を生成する大規模言語モデルである。LLMそのものの基本的な働きは、外部の文章をそのまま検索して返すことではない。入力された文脈をもとに、次にどのようなトークン（tokens）が続きやすいかを計算し、その結果として文章を生成する。
2. LLMは「次のトークン」を予測する
LLMの基本的な訓練は、単純化して言えば、次に来るトークンを予測することにある。「フランスの首都は」という文脈があれば、この後には「パリ」が続きやすい。しかし、LLMは単語帳のように一対一で暗記しているわけではない。膨大なテキストの中で、出現の仕方、近さ、使われ方、説明のされ方を、数値の構造として学習している。
「ありそうな続き」の中には、文法、事実らしさ、説明の型、推論のパターン、文体、ジャンル、比喩、議論構造が含まれる。次のトークンを予測するという仕組みは単純に見えるが、その中で獲得される反応の構造は非常に複雑である。
3. パラメータとモデルの重み
LLMの中核には、膨大なパラメータ（parameters）がある。パラメータとは、モデルが学習を通じて調整してきた数値の集合である。この数値が、入力されたトークンに対して、どのような出力が生まれやすいかを決める。
その中でもよく使われる言葉がモデルの重み（model weights）である。重みとは、入力された情報が次の層や計算にどのくらい影響するかを決める数値だと考えればよい。平易版で使った「坂道」という比喩はここに対応している。モデルの中には知識のカードがしまわれているのではなく、入力された言葉がある方向へ転がりやすくなるような地形ができている。
ただし、この地形は、入力された文脈をそのまま一様に処理するわけではない。Transformer型のLLMでは、文脈中のどのトークンをどの程度重視するかを計算する注意機構／アテンション（attention）が重要な役割を持つ。ここでは数式には踏み込まないが、「どの文脈が強く効くか」は、単なる比喩ではなく、モデルが文脈内の関係を重みづける仕組みと関係している。
4. 知識カードではなく、分散した表現である
分散表現（distributed representation）とは、ある意味や特徴が、モデル内部の一か所にだけ保存されているのではなく、多数の数値の関係として広がって表現されているという考え方である。
似た考え方は、埋め込み（embeddings）にも現れる。埋め込みとは、テキストなどを数値ベクトルとして表す方法である。似た意味を持つテキストは、ベクトル空間の中で近い位置に置かれやすい。ただし、埋め込みはLLM本体の内部表現そのものと完全に同じものではない。
5. 暗記と一般化は違う
LLMは、ときには訓練データに含まれていた表現や事実を再現するように見える。このような現象は暗記（memorization）として議論される。一方で、見たことのない文章を要約する、新しい例に合わせて説明する、異なる文体に変換する、複数の概念を組み合わせる、といった働きは一般化（generalization）に近い。
LLMは「何も覚えていない」のでも、「すべてを丸暗記している」のでもない。大量の言葉の使われ方から、文脈に反応する構造を形成している。
6. モデルの記憶と、ChatGPTの保存メモリは違う
モデル本体の記憶と、ChatGPTの保存メモリ（saved memories）は別の層である。保存メモリは、ユーザー固有の情報を将来の応答の文脈へ再投入する仕組みであり、モデル本体の重みを書き換えているわけではない。
モデルの重みは、巨大な反応可能性の地形である。保存メモリは、その地形の上で今回の作業に持ち込まれる付箋に近い。
7. 会話文脈とコンテキスト注入
同じチャット内で前の話を踏まえられるのは、モデルがその場で会話履歴を文脈として受け取っているからである。これはモデル本体の重みが変わったという意味ではない。
コンテキスト注入（context injection）とは、モデルを再訓練するのではなく、必要な情報を応答生成時の文脈へ渡すことである。RAGやファイル検索も、広い意味ではこの発想に近い。必要な情報が現在の文脈に入っていれば使える。入っていなければ使えない。
8. なぜ「知っているのに間違える」のか
LLMは、固定された知識カードを検索して返しているわけではない。学習された反応可能性の地形と、現在の文脈をもとに応答を生成している。そのため、もっともらしいが事実と異なる内容を生成することがある。これをハルシネーション（hallucination、もっともらしい誤生成）と呼ぶ。
事実確認が重要な場面では、検索、外部資料、引用、検証が必要になる。
9. 平易版の結論を詳解版として言い換える
平易版では、生成AIの記憶とは、保存された過去ではなく、現在に再投入される条件であると述べた。詳解版では、これを次のように言い換えたい。
LLMの記憶とは、保存された知識カードではなく、学習によって形成された反応可能性の地形である。その地形に、現在の文脈、保存メモリ、外部資料、ツール結果が重なり、その時点の応答が生まれる。
中心フレーズ
LLMの記憶とは、保存された知識カードではなく、学習によって形成された反応可能性の地形である。
用語メモ
LLM
大量のテキストを学習し、与えられた文脈に続く言葉を生成する大規模言語モデル。
トークン（tokens）
モデルが処理するテキストの単位。
パラメータ（parameters）
モデルが学習を通じて調整してきた数値の集合。
モデルの重み（model weights）
入力された情報が後続の計算にどの程度影響するかを決める数値。
注意機構／アテンション（attention）
文脈中のどのトークンをどの程度重視するかを計算する仕組み。
埋め込み（embeddings）
テキストなどを数値ベクトルとして表す方法。
分散表現（distributed representation）
意味や特徴が多数の数値の関係として広がって表現されること。
コンテキスト注入（context injection）
必要な情報を応答生成時の文脈へ渡すこと。
ハルシネーション（hallucination）
もっともらしいが、事実や根拠と異なる内容を生成すること。
参考リンク
- OpenAI Help Center｜What are tokens and how do I count them?：https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-do-i-count-them
- OpenAI Platform｜Embeddings：https://developers.openai.com/api/docs/guides/embeddings
- OpenAI Help Center｜Memory FAQ：https://help.openai.com/en/articles/8590148-memory-faq
- arXiv｜Attention Is All You Need：https://arxiv.org/abs/1706.03762