LLM基礎レッスン 1 / 3

LLMの仕組み

このレッスンで学ぶこと

Claude Codeのようなツールを効果的に使うには、中で何が起きているかを理解する必要があります。このレッスンでは、大規模言語モデル（LLM）の基本的な仕組みをわかりやすく解説します。

大規模言語モデルは、「前にある文章から次の単語（正確には「トークン」）を予測する」プログラムです。それだけです。魔法でも思考でもなく、非常に高度なパターンマッチングです。

重要なポイント：LLMは何かを「理解」しているわけではありません。学習データから学んだパターンに基づいて、次に来そうなテキストを予測しているだけです。

LLMは単語ではなくトークンを読みます。1トークンは大体3〜4文字程度。「understanding」という単語は「under」「stand」「ing」に分割されます。日本語の場合は1〜2文字で1トークン程度です。

なぜこれが重要か？トークン単位で課金され、モデルのメモリ（コンテキストウィンドウ）もトークンで測定されるからです。トークンが多い = コストが高く、いずれ限界に達します。

Claudeに質問すると、データベースから答えを取り出すのではなく、1トークンずつテキストを生成します。毎回「ここまでの内容から、次に来るトークンは何が最も確からしいか？」と判断しています。

同じプロンプトでも毎回少し違う出力になることがあるのは、選択プロセスにランダム性（「temperature」と呼ばれます）があるからです。

コンテキストウィンドウは、モデルが一度に「見える」すべてのもの：あなたのプロンプト、会話履歴、共有したファイルなど。Claudeのコンテキストウィンドウは大きい（20万トークン）ですが、無限ではありません。

注意：コンテキストが大きければ結果が良くなるわけではありません。情報が多すぎると、かえってモデルが混乱し、出力品質が下がることがあります。