最新LLMが「賢く」進化した4つの技術的背景
「ChatGPTやGeminiが、以前よりも賢くなった気がする」「前よりも人間が好む自然な対話ができるようになったと感じる」……その背景には、ITエンジニアたちによる工夫と改善の積み重ねがありました。
1. 圧倒的な「練習量」と効率の追求
マンガでは「練習量」と表現しましたが、 実際には学習の規模を決める要素は3つあります。
学習するデータの総量、 モデルの規模（パラメーター数）、そして学習に使う計算量です。 現在のLLMは、数年前と比べてこれらが桁違いに大きくなっています。
ただし、サーバーの計算資源は有限です。闇雲に規模を増やすのではなく、 限られた資源でどれだけ効率よく学習させるかというITエンジニアの設計が、 モデルの品質を大きく左右します。
2. 人間による強化学習と、検証可能な報酬による強化学習（RLHF & RLVR）
RLHF（Reinforcement Learning from Human Feedback：人間のフィードバックによる強化学習）は、LLMの回答に対して、人間が「これは良い答え」「これはダメな答え」[1]と採点して教え込む手法です。これにより、確率的な言葉の羅列から、 人間が「役立つ・心地よい」と感じやすい内容へ矯正されてきました。
[1]現在のAI開発では「役に立つか（Helpful）」「正直か（Honest）」「無害か（Harmless）」の3つ（HHH）が重視されています
ただし、この工程はあくまで「人間が喜ぶふるまい」を覚えさせるもの。「人間にとって納得感がある」ことと「事実として正しい」ことは別物です。LLMが自信満々に嘘をつく可能性は、依然として残っています。
RLVR（Reinforcement Learning with Verifiable Rewards：検証可能な報酬による強化学習）は、機械が採点を担う手法です。数学なら「答えが合っているか」、コーディングなら「テストが通るか」。正解・不正解が明確なタスクであれば、大量の訓練を回せます。
もっとも、法律・倫理・教育・クリエイティブなど「正解が一意に決まらない」分野には、まだ人間の判断が欠かせません。
3. 推論モデルの登場
最新のLLMには大きく2種類あります。
【通常モデル】
通常モデルは、決まった計算を行って即座に次の言葉を選びます。難しい問題でも、1語ごとの計算の流れが変わるわけではありません。
【推論モデル（Reasoning モデル）】
一方、推論モデルは回答を生成する前に、内部でChain of Thoughtというステップを踏みます。モデル自身が自問自答を繰り返し、計画を立て、途中で間違いに気づけば修正します。
職人がメモ帳を取り出して「待てよ？」「このパターンはダメだ」と考え直してから答えるイメージです。そのぶん回答までに時間がかかりますが、複雑な論理タスクでのハルシネーション（もっともらしい嘘）が減ります。
4. 大規模なLLMを支える安定化技術（QK-Normなど）
1．で触れた『圧倒的な練習量』を実現するには、モデルを巨大化する必要があります。ところが、大きくすればするほど内部の計算が暴走して不安定になるという壁にぶつかります。
これを防ぐのが安定化技術です。マンガでは、例としてQK-Norm（Query-Key Normalization）という仕組みを紹介しました。
LLM内部では、単語同士の関連性を、Query（クエリ）とKey（鍵）の掛け算で計算しています。しかし、この数値が大きくなりすぎると「声の大きすぎる関連性」が悪目立ちし、ほかの重要な関連性がかき消されてしまいます。
QK-Normは音響ミキサーのように、関係性を計算する前の数値を適切な範囲に収める仕組みです。一部の数値だけが突出してほかを覆い隠すことを防ぎます。
これにより、大規模なLLMでも安定して学習が進められるようになりました。巨大化と安定性、その両立が今のAIを支えているのです。
まとめ：AIの進化の裏にあるのは、地道な改善の積み重ね
最近のAIの進化の裏には、さまざまな技術の積み重ねがありました。
- 学習データ量、パラメーター数、学習に使う計算量の増加
- 人間のフィードバックによる強化学習と、検証可能な報酬による強化学習（RLHF & RLVR）
- 推論モデルの登場
- 安定化技術（QK-Normなど）
これだけ技術が進化しても、LLMが確率的に言葉を選んでいるという根本的な仕組みは変わりません。
しかし、この「空気を読むのは得意だけど、たまに大ボケするLLM」に「融通はきかないけれど、絶対に間違えないプログラム」を組み合わせたらどうなるでしょうか？
次回、第3話「AIエージェントって何？ LLMとプログラムを組み合わせたら相性抜群だった」へ続く！
登場人物紹介
