LLMの仕組み解説

LLM（大規模言語モデル）の「出発点」としてワードベクトルに着目するのは、非常に鋭い視点です！

ワードベクトル（単語埋め込み）は、「コンピュータに『言葉の意味』を数学的に理解させるための翻訳技術」と言えます。これがないと、現在のAIは成立しません。

そもそも「ワードベクトル」とは？

コンピュータは計算機なので、「リンゴ」や「愛」といった文字そのものを理解することはできません。コンピュータが理解できるのは「数字」だけです。

そこで、言葉を「数字の列（ベクトル）」に変換します。

このように、ひとつの単語を数十〜数千個の数字の並びで表現したものが「ワードベクトル」です。

なぜ「ベクトル（矢印/座標）」にするのか？

ただの数字のID（例：リンゴ=1, ミカン=2）ではなく、ベクトル（座標）にすることで、「言葉の意味の近さ」を「距離」として計算できるようになるからです。

どうやってデータを作るのか？（学習の仕組み）

では、どうやって「王様」を [0.52,...] という具体的な数字にするのでしょうか？ 人間が一つ一つ数値を決めているわけではありません。AIが大量の文章を読んで自動的に決定します。

その基本的な考え方は、「分布仮説」という言語学のルールに基づいています。

データの作り方：穴埋め問題トレーニング

AIに大量のテキスト（Wikipedia、ニュース、小説など）を読ませ、ひたすら「穴埋め問題」を解かせます。

AIへの学習プロセス：

1. ターゲット: 「猫」という単語に注目します。
2. 周囲を見る: 周りには「かわいい」「こたつ」「丸くなる」という単語があります。
3. 推測と調整: AIは、「かわいい」や「こたつ」の近くに来る単語は、どうやら「猫（のようなもの）」らしい、と学習します。

もし、AIが適当な数字を持っていて「車」と予測したら、「違うよ、正解は猫だよ」と叱られます。するとAIは、「猫」のベクトル（数値）を、少しだけ「かわいい」や「こたつ」のベクトルに近づけます。

これを何億回、何兆回と繰り返すと、最終的に以下のような「意味の地図」が出来上がります。

• 「猫」と「犬」: どちらも「かわいい」「走る」「ペット」などの近くに現れるので、ベクトル（座標）が近くなる。
• 「猫」と「冷蔵庫」: 一緒に使われることが少ないので、座標は遠くなる。

LLMへの進化

ワードベクトルは「単語の意味」を捉えることに成功しましたが、これだけでは今のChatGPTのような対話はできません。

ワードベクトルの中身は、ざっくり言うと「巨大な乱数表（エクセルのような表）」です。

専門用語では「埋め込み行列（Embedding Matrix）」と呼びます。

データの見た目（イメージ）

頭の中で巨大なエクセル表を思い浮かべてください。

• 行（タテ）： 辞書にある単語（トークン）のリスト
• 列（ヨコ）： その単語の意味を表す数値の列（次元数）

ID	単語 (Token)	次元1	次元2	次元3	...	次元4096
0	<unk>	0.012	-0.982	0.332	...	0.115
1	の	0.552	0.123	-0.005	...	-1.221
2	猫	0.882	-0.551	0.993	...	0.441
...	...	...	...	...	...	...
128000	宇宙	0.119	-0.332	1.552	...	-0.991

コンピュータに「猫」と入力されると、AIはこの表の「2番」の行を見に行き、そこに書かれている横一列の数字（ベクトル）を引っ張り出してきます。これが「ワードベクトル」の正体です。

辞書サイズ（行数）：単語はいくつある？

ここが面白いところで、昔と今で考え方が逆転しています。

時代	辞書サイズ	備考
昔（Word2Vecなど）	約300万語	「走る」「走ります」「走れば」を全部別の単語として登録
今（Llama 3）	128,256 トークン	Subword技術で効率化
今（GPT-4）	約 100,256 トークン	Subword技術で効率化

なぜ減った？: 「Subword（サブワード）」という技術を使うようになったからです。「Unhappiness」を「Un」+「happi」+「ness」のように部品に分解して覚えるため、少ない辞書サイズで無限の言葉に対応できるようになりました。

次元数（列数）：数字の列はどれくらい長い？

次元数は「意味の解像度」だと思ってください。数字が多ければ多いほど、微妙なニュアンスを区別できます。

モデル	次元数	特徴
Word2Vec（昔）	300次元	画期的だが、同音異義語の区別は困難
Llama 3 (8B)	4,096次元	高度な意味表現が可能
GPT-3 (175B)	12,288次元	皮肉や文脈依存の意味も表現

データ容量はどれくらい？

実際にこの「表」がどれくらいのデータサイズになるか計算してみましょう（Llama 3 8Bの場合）。

80億パラメータ（8B）あるモデル全体の中で、最初の「言葉を数字に変換する辞書」だけで1GBも容量を使っているわけです。ここがLLMの知識の土台となります。

昔のAIにとって、辞書にない言葉は「未知の単語（Unknown）」としてエラー扱い（または <unk> という記号に変換）され、そこで思考停止していました。

しかし、今のLLMには「未知の単語」は実質的に存在しません。そのカラクリは、「言葉のレゴブロック化（サブワード）」という手法にあります。

レゴブロック戦略（Subword Tokenization）

LLMは、辞書にない難しい単語に出会ったとき、諦めるのではなく「知っている単位まで分解」します。

これが、辞書サイズが小さくても（約10万語）、世の中のあらゆる言葉に対応できる理由です。

具体的な分割の例

例1：複合語や活用形

例2：英語の長い単語

例3：完全な造語や謎の文字列

この仕組みの凄さ

この「分解アプローチ」のおかげで、LLMは以下のことができるようになりました。

• 新語・造語への対応: 「ググる」「インスタ映え」などが辞書になくても、「ググ（Googleっぽさ）」＋「る（動詞）」のように分解してなんとなく理解します。
• プログラミングコードの理解: print_hello_world のような変数名も print hello world に分解して意味を理解します。
• 多言語対応: 日本語も英語も中国語も、同じ「レゴブロック（トークン）」の組み合わせとして処理できるため、言語の壁を越えやすくなりました。

ここがLLM（大規模言語モデル）の一番の山場であり、最重要ポイントです。

Attention（アテンション）機構。一言でいうと、これは単語同士の「会議」です。

これまで作った「ワードベクトル」は、まだ「辞書に載っている固定の意味」しか持っていません。Attentionは、これらを「文脈に合わせた意味」に変化させる魔法です。

なぜAttentionが必要なのか？（Before / After）

Attentionの仕組み：単語同士の「スポットライト」

イメージしてください。真っ暗な部屋に、単語たちが一列に並んでいます。

「彼」のターン：

1. 「彼」という単語がスポットライト（Attention）を持って、周りの単語を照らします。
2. 「自分（彼）の意味をハッキリさせるために、重要な単語はどれだ？」と探します。
3. この文では、「好きだ」という単語に強い光（注目）を当てます。「誰が」と「どうした」は関係が深いからです。

情報の吸収（ミキシング）：

「彼」は、「好きだ」という単語から「感情」や「動作」という意味（ベクトル成分）を少し吸い取ります。

すると、「彼」というベクトルは、ただの「男性」という意味から、「猫が好きな男性」という文脈を含んだベクトルに進化します。

これを、すべての単語が同時に、お互いに対して行います。

ちょっと専門的な話（Q, K, V）

この「スポットライト」の計算を、数学（行列計算）では「Q, K, V（クエリ・キー・バリュー）」という3つの役割で行います。

役割	英語	説明
探す人	Query (Q)	「私の意味を補完してくれる情報はどこ？」と問い合わせる係
目印	Key (K)	「私はこういう単語ですよ」と看板を掲げている係
中身	Value (V)	その単語が持っている実際の意味内容

処理の流れ：

1. ある単語の Q が、全員の K と照合（内積）します。
2. 相性が良い（関連性が高い）ほど、スコアが高くなります。
3. スコアが高い単語の V（中身）を、たくさん取り込みます。

この数式は、「関連度（QK）を計算して、その重み分だけ中身（V）を混ぜ合わせる」という意味です。

具体例：代名詞の謎を解く

Attentionが最も威力を発揮するのは、代名詞（それ、彼、これ）の解釈です。

人間なら、「それ＝動物」だとわかりますよね？ でも、文の構造だけだと「それ＝道路」の可能性もあります。

LLM（Attention）の頭の中：

1. 「それ（it）」という単語が周りを見渡します。
2. 候補は「動物」と「道路」。
3. 文脈の手がかりは「疲れすぎていた（tired）」。
4. LLMの知識：「道路は疲れない。動物は疲れる。」
5. 結果：「それ」から「動物」へのAttention（注目度）が強くなり、「それ」のベクトルは「動物」の意味を強く帯びるようになります。

では、最強のAIアーキテクチャである「Transformer（トランスフォーマー）」の全体構造について解説します。

これまで解説した「ワードベクトル」や「Attention」は、あくまで部品です。これらをどう組み立てれば、ChatGPTのような巨大な知能になるのか？

その姿は、「超高層ビル」に例えると非常に分かりやすくなります。

Transformerの全体像：96階建てのオフィスビル

最新のLLM（例えばGPT-4クラス）は、同じ構造の「ブロック（層）」を何十回も積み重ねた構造をしています。

イメージしてください。ここには、言葉を処理する専門家たちが働く「96階建てのビル」があります。

階層	役割
1階（入力）	「猫」などの単語が入ってきます
低層階	文法や、単語同士の単純な関係（「猫」は主語だな、など）を処理
中層階	もう少し深い意味（「猫」と「かわいい」の関係など）を理解
高層階	文脈、論理、皮肉、意図といった高度な概念を処理
屋上（出力）	最終的に「次にくる単語は『丸くなる』だ！」と確率を出します

昔のAIは数階建てでしたが、今のLLMは層を深く（Deepに）することで、人間のような深い思考を可能にしています。これが「ディープラーニング」と呼ばれる所以です。

ひとつの「階（ブロック）」の中身

では、このビルの「1つのフロア」の中では何が行われているのでしょうか？ どの階も基本的には同じ間取りで、大きく2つの部屋（機能）があります。

部屋A：Attention（会議室）

• 役割： 「周りの情報を集める」
• さっき解説した機能です。単語同士が話し合い、「彼は」が「好きだ」と関係している、といった文脈情報を整理します。
• ここでは、あくまで「今、入力された文章の中での関係」を処理します。

部屋B：Feed-Forward Network（個人の作業デスク）

• 役割： 「知識を思い出す・加工する」
• Attentionで周りの状況を把握した後、その情報を個別に持ち帰り、自分の頭の中にある「知識」と照らし合わせます。
• 実は、AIが学習した「事実や知識（フランスの首都はパリ、など）」の多くは、この部屋（のパラメータ）に保存されていると言われています。

これを96回（96層）繰り返すことで、情報はどんどん洗練されていきます。

GPTは「Decoder」という片割れ

実は、2017年に発表されたオリジナルのTransformerには、2つの塔がありました。

構成要素	役割	使用例
Encoder（エンコーダー）	文章を「読む・理解する」専門の塔	BERT
Decoder（デコーダー）	文章を「書く・生成する」専門の塔	GPT

ChatGPTなどのGPTシリーズは、このうち「Decoder（書く塔）」だけを巨大化させたモデルです。「ひたすら次の単語を予測して書き続ける」ことに特化させた結果、逆に「書くためには深く理解しないといけない」という進化を遂げ、理解力も手に入れました。

忘れてはいけない「位置エンコーディング」

Transformerには一つだけ弱点があります。それは、「一度に文章全体を見るため、順番がわからない」ことです。

Attention機能だけだと、この2つの区別がつきにくくなります。そこで、データの入り口（1階）で、各単語に「番号札（Positional Encoding）」を貼り付けます。

この番号札があるおかげで、LLMは語順を理解できるのです。

いよいよ、「事前学習（Pre-training）」の解説です。

ビル（Transformer）を建てただけでは、中のAIはまだ「あー」とか「うー」しか言えない赤ちゃんの状態です。ここに、インターネット上のあらゆる知識を詰め込むプロセスが事前学習です。

これは、人間が何年もかけて学校に通うプロセスを、数ヶ月で一気に終わらせるような壮絶な工程です。

学習の方法：ひたすら「次単語予測」

AIは、人間のように教科書を読んで「ふむふむ、1192年に鎌倉幕府ができたのか」と覚えるわけではありません。

AIがやることはたった一つ、「次の単語当てゲーム」です。

1. 隠す: AIに文章の続き（【？】の部分）を隠して見せます。
2. 予測: AIは今の知識（最初は適当な乱数）で予測します。
   AIの回答：「...戦車？」
3. 答え合わせ: 正解を見せます。
   正解：「おばあさん」
4. 叱る（誤差逆伝播）: 「違う！『昔話』の文脈で『おじいさん』ときたら、高い確率で『おばあさん』だ！」と、AIの脳神経（パラメータ）を修正します。

これを、Wikipedia、ニュース記事、ブログ、論文、プログラムコードなど、数兆単語（Token）にわたって繰り返します。

「知識」ではなく「確率」を覚える

ここが面白い点ですが、AIは知識を「事実」として暗記しているわけではありません。「確率的な繋がり」として圧縮して覚えています。

結果的に、歴史も数学もプログラミングも、すべて「単語の確率パズル」として習得してしまいます。このプロセスは、インターネット全体の情報を、巨大な関数（モデル）の中に「圧縮」しているとも言えます。

コストと規模：電気代だけで数億円

この「事前学習」は、とてつもない計算量が必要です。

項目	規模
GPU（計算機）	NVIDIAの最高級GPU（H100など）を数千枚〜数万枚使用
期間	数ヶ月間、24時間フル稼働
コスト	電気代と機材費で、一回の学習に数十億円〜百億円以上

これが、GoogleやOpenAIなどの「ビッグ・テック」しか高性能な基盤モデル（Foundation Model）を作れない理由です。

出来上がるもの：「Base Model（ベースモデル）」

こうして数ヶ月の特訓を経て完成したAIを「Base Model（ベースモデル）」と呼びます。（例：GPT-4 Base, Llama 3 Baseなど）

しかし、実はこの時点では、AIはまだ「チャット（会話）」ができません。ただの「続きを書くマシーン」だからです。

いい質問ですね！そこが人間の直感と、AI（ニューラルネットワーク）の仕組みが決定的に違うところです。

結論から言うと、確率は「どこにも書いてありません」。そして、膨大な組み合わせの確率表も「準備していません」。

もし「全ての組み合わせの確率表」を作ろうとしたら、宇宙にある原子の数よりも多くの紙が必要になり、物理的に不可能です。

ではどうしているのか？ 「保存している」のではなく、「その場で毎回計算している（算出している）」のです。

「辞書」ではなく「計算機（関数）」

AIの中身は、巨大な「対応表（データベース）」だと思われがちですが、実際は巨大な「計算式（関数）」です。

LLMもこれと同じです。「この単語の並びが来たら、次はこれ」というリストを持っているのではなく、「今までの文脈を入力すると、次の単語の確率が出力される」という超複雑な計算式（パラメータの塊）を持っています。

確率が出る瞬間の仕組み（Softmax層）

では、どうやって計算結果が「確率」になるのでしょうか？ LLMの最後の最後、96階建てのビルの「屋上」で行われている処理を見てみましょう。

AIの辞書に単語が5万個あるとします。

1. 入力: 「日本の首都は」という文章がビルに入ります。
2. 計算: 96層のフロアを通る過程で、ベクトル（数値）がこねくり回されます。
3. 出力（ロジット）: 最終層から、5万個の数字がドサッと出てきます。これはまだ確率（％）ではなく、ただのスコアです。

   単語	スコア
   東京	15.2
   大阪	8.4
   バナナ	-5.3
   空	0.1
   ...（残り49,996個）	...

4. 変換（Softmax関数）: この5万個のスコアを、全部足すと100%（1.0）になるように変換します。

   単語	確率
   東京	95.5%
   大阪	3.2%
   バナナ	0.00001%
   ...	...

こうして、その瞬間に計算された5万個の確率の中から、サイコロを振って（あるいは一番高いものを選んで）次の単語を決定します。

1単語ずつ生成される仕組み

重要なのは、LLMは1トークンずつしか生成できないということです。「日本の首都は」と入力すると、まず「東京」が出力され、次に「です」が出力され…という具合に、1つずつ順番に出てきます。

そして、新しいトークンが生成されるたびに、Attention機構が全体に対して再計算されます。つまり：

1. 「日本の首都は」→ Attentionで文脈を理解 → 「東京」を生成
2. 「日本の首都は東京」→ Attentionを再計算して文脈を更新 → 「です」を生成
3. 「日本の首都は東京です」→ また再計算 → 「。」を生成

このように、1単語増えるごとにAttentionが「今までの全体」を見直して、次の1単語を決めています。長い文章を書くときも、毎回この計算を繰り返しているのです。

なぜ「見たことない文章」でも続きが書けるのか？

「確率表」を持っていないからこそ、LLMは柔軟なんです。

もし確率表方式だったら、「昔々、あるところに、ピンク色の象とダンスが大好きなおじいさんがいました」という文章が来た瞬間、「そんな例文はリストにない！」と停止してしまいます。

しかしLLMは計算式なので：

• 「ダンスが大好き」 → 「楽しい」「踊る」という要素を加点
• 「おじいさん」 → 「高齢」「男性」という要素を加点
• それらを総合して計算し、「次は『楽しく』とか『踊って』が来る確率が高いな」と、その場で数値を弾き出せるのです。

その通りです！非常に鋭いですね。AIが行っている計算の正体は、まさに「パラメータ（数字）の掛け算と足し算」の嵐です。

ただ、一つだけ修正するとすれば、「ワード（トークン）が持つパラメータ」だけではなく、「モデル（脳みそ）が持つパラメータ」との掛け算がメインになります。

誰がパラメータ（数字）を持っているの？

計算に使われる「数字」は、大きく2箇所に保管されています。

保管場所	説明	役割
ワードが持つパラメータ（Embedding）	最初に話した「辞書」の部分。「猫」という単語は、固有の数字の列（ベクトル）を持っている。	食材（インプット）
モデルが持つパラメータ（Weights/重み） ← ここが圧倒的に多い！	96階建てのビルの「壁」や「機械」に埋め込まれている数字。単語に関係なく、固定された巨大な数字の表（行列）。	調理器具（プロセッサー）

具体的にどんな計算をしている？（行列演算）

LLMの中では、次のような「掛け算」が何百億回も行われています。

イメージ：ベルトコンベアと加工機

1. 入力（食材）: 「猫」というベクトル（例：4,096個の数字の列）が流れてきます。
2. 加工（調理）: そこに、モデルが持つ「巨大なパラメータの行列」がガシャン！とかけ合わされます。
   新しいベクトル = 今のベクトル × モデルの行列(パラメータ)

   この「モデルの行列」には、事前学習で覚えた「文脈の読み方」や「知識」が数字として詰まっています。

3. 変化: 掛け算をすると、ベクトルの数字がガラッと変わります。これを96回（96層）繰り返すことで、「ただの猫」というベクトルが、「こたつで丸くなっている猫」という複雑なベクトルへ加工されていきます。

最後の確率を出す瞬間

そして、質問にあった「次の単語の確率」を出す最後の瞬間も、やはり「ワードのパラメータとの掛け算」で決まります。

96階まで加工され終わった「文脈ベクトル（例：こたつ猫）」に対して、辞書にある全単語（5万語）のパラメータ（Embedding）を一斉に掛け算（内積）します。

• 「こたつ猫」×「丸くなる」のベクトル → 数字が大きくなる（方向が似ているから）
• 「こたつ猫」×「走る」のベクトル → 数字が小さくなる（方向が違うから）

この「掛け算の結果（スコア）」が大きい単語ほど、確率が高いと判定されるのです。

「罰を与える」「褒める」というのは、比喩表現としては分かりやすいですが、エンジニア視点で見ると、もっとドライで数学的な「引き算」のことです。

どこに、どうやって与えるのか。その現場は、さきほどの「96階建てのビル（モデル）」全体と、そこに住む数千億個のパラメータ（数字）です。

専門用語ではこれを「誤差逆伝播法（バックプロパゲーション）」と呼びます。

「罰」の正体：損失（Loss）

まず、AIが答えを間違えたとき、システムは「間違いの大きさ（距離）」を計算します。これを「損失（Loss）」と呼びます。

「どこ」に与えるのか？

罰を受ける対象は、モデルの中にある全てのパラメータ（行列の中の数字）です。

ただし、「連帯責任」ではありません。「誰が戦犯か？」を厳密に特定します。

現場検証のイメージ（逆伝播）

1. 屋上（出力層）： 「おい！答えがズレたぞ！一番上の責任者（パラメータ）出てこい！」
2. 責任者: 「すいません、僕が変な計算をしたのは、その下の部下（下の層）から変なデータが来たからです」
3. 下の層: 「いや、僕のせいじゃなくて、さらにその下の部下が……」

こうして、屋上から1階まで、「間違いの原因を作ったパラメータ」を特定しながら、責任（誤差）を分配していきます。これが「逆伝播（Back Propagation）」と呼ばれる理由です。

「どう」与えるのか？（数値の更新）

ここが一番のポイントです。「罰」とは具体的に「パラメータの数値を書き換えること」です。

もし、あるパラメータ w が「3.5」という数字を持っていて、それが原因で予測が大きくなりすぎたなら、「数字を少し減らせ」という命令が下ります。

このように、数千億個あるパラメータのひとつひとつに対して、「お前は上げろ」「お前は下げろ」と微調整を行います。これが「罰を与える」の正体です。

「褒める」とは？

この「次単語予測」の段階における「褒める」とは、「罰を与えない（修正しない）」ことです。

• AIが完璧に正解した場合、損失（Loss）は「0」になります。
• 引き算するものが何もないので、パラメータはそのまま維持されます。
• 「今のままでいいよ、その調子！」というわけです。

かしこまりました。ここまでの冒険は、「ただの記号（文字）」を「賢い知能（AI）」に変えるまでの旅でした。

まずは、ここまでのあらすじを、専門用語をなるべく使わずに「自然な物語」としてまとめます。

第一部：ここまでのあらすじ（LLMが生まれるまで）

1. 言葉を「数字の地図」に変える（ワードベクトル）

コンピュータは言葉が分からないので、すべての単語を「数字の列（座標）」に変換しました。これにより、「王様」と「王子」は地図上で近くにいる、「猫」から「かわいさ」を引くと別の意味になる、といった「意味の計算」ができるようになりました。

2. 文脈を読み解く「会議室」（Attention / Transformer）

単語たちは、ただ並んでいるだけではありません。「彼は」という単語が、「好きだ」という単語にスポットライトを当てて意味を吸収するように、単語同士がお互いに影響し合って「文脈」を作ります。これを何十回も繰り返すことで、AIは深い意味を理解します。

3. 知識を圧縮する「計算式」（パラメータ）

AIは知識を「辞書」として持っているのではなく、巨大な「計算式」として持っています。入力された数字に対して、何千億回の掛け算と足し算を行うことで、その場で答え（確率）をひねり出します。

4. スパルタ教育（事前学習）

この計算式を完成させるために、AIはインターネット上の文章を読みまくり、ひたすら「次の単語当てクイズ」をやらされました。間違えるたびに、脳内の数字（パラメータ）を微調整され続け、最終的に「どんな文章でも続きが書ける物知りなAI（ベースモデル）」が完成しました。

---

第二部：人間らしく振る舞うための「仕上げ」（ファインチューニング）

さて、ここで完成した「ベースモデル」には、致命的な欠点があります。それは、「空気が読めない」ことです。

これでは使い物になりません。そこで行うのが「ファインチューニング（微調整）」です。ここには2つの段階があります。

ステップ1：会話のルールを教える（Instruction Tuning）

まずは、「質問されたら答えるんだよ」という対話の形式を教え込みます。

• やり方： 人間が作った「良質なQ&A集」をテキストとして読ませます。
  • 入力：「風邪の治し方を教えて」
  • 正解：「まずは暖かくして寝ることです。」
• 効果： これも「次単語予測」の学習ですが、教材がネットの雑多な文章ではなく「模範解答」なので、AIは「アシスタントとしての喋り方」を覚えます。

ステップ2：人間の「好み」を教える（RLHF）

ここが現代AIの真骨頂です。「Reinforcement Learning from Human Feedback（人間のフィードバックによる強化学習）」、略してRLHFです。

さきほど「間違えたら罰を与える」という話をしましたが、ここでは「人間が採点官」になります。

1. 答えを比較させる: AIに、同じ質問に対して2〜3パターンの答えを出させます。
   • 回答A：「風邪？ 寝ろ。」（正しいけど冷たい）
   • 回答B：「お辛いですね。水分を摂って暖かくしてください。」（親切）
2. 人間がランク付けする: 人間がこれを見て、「Bの方が良い！」と評価します。これが「ご褒美（Reward）」の元データになります。
3. 報酬モデル（Reward Model）を作る: 人間の評価基準を真似した「採点専用のAI（報酬モデル）」を作ります。「こういう答えだと人間は喜ぶ（高得点）、こういう答えは嫌がる（低得点）」という基準を数値化します。
4. AIを矯正する（強化学習）: 最後に、本体のLLMに対し、「この採点専用AIから高得点をもらえるように喋れ」という特訓を行います。
   • AIが暴力的なことを言う → 採点AIが「-100点（大罰）」を与える → パラメータが大きく修正される
   • AIが親切なことを言う → 採点AIが「+100点（ご褒美）」を与える → その行動が強化される

🎉 これで、LLMの仕組みについての解説は完了です！ 🎉