Transformer は何がすごかったのかを振り返る
今回のマンガでは、現代のAI（LLM）の基盤となった論文『Attention Is All You Need（必要なのは Attention だけ）』のエッセンスを学びました。ここで、重要なポイントを改めて整理しておきましょう。
1. なぜ「革命的」だったのか？
それまでのAIは、文章を端から順番に読み取るRNNという仕組みを使っていました。しかし、これには「長い文章の最初の方を忘れてしまう」「一語ずつ処理するので時間がかかる」という大きな弱点がありました。Transformerは、この「順番に読む」という常識を捨て、文全体を同時に並列処理することで、学習スピードを劇的に向上させ、かつ文中の遠く離れた言葉同士の関係（文脈）を精度良く捉えることに成功したのです。
2. Attention（注意機構）の魔法
「アップル」の例で見たように、言葉の意味は周囲との関係性で決まります。Transformerの核心であるSelf-Attentionは、文中の各単語が「他のどの単語と密接に関係しているか[1]」をスコア化して計算します。 これにより、辞書的な意味だけではなく「この文脈においての、この単語の役割」を深く理解できるようになりました。
[1]単に関係性に注目するだけでなく、関係する単語の情報を混ぜ合わせることで、その場に最適な「意味」を作り出しています
3. エンコーダとデコーダの分担
複雑に見える設計図も、役割はシンプルです。
- エンコーダ：人間が入力した言葉を、コンピュータが扱いやすい数値（ベクトル）に変換にする
- デコーダ：エンコーダから受け取った情報をもとに、次にくるべき単語を1つずつ予測し、つなげて出力する。
ちなみに、ChatGPTの「GPT」は「Generative Pre-trained Transformer」の略。図の右側の考え方をベースとした「デコーダ型 Transformer」を巨大化・発展させたものなのです。
【豆知識①】実は、翻訳のために生まれた
今ではさまざまなAIのベースになっているTransformerですが、元々この論文は「機械翻訳」の精度を上げるために発表されたものでした。英語を日本語にするときって、単語の順番を入れ替える必要がありますよね。文全体をパッと見て言葉の関係性をつかむTransformerの仕組みは、まさに翻訳作業にうってつけだったのです。
また、論文タイトルの「Attention Is All You Need」は、ビートルズの名曲『All You Need Is Love（愛こそはすべて）』のオマージュなのだそう。AIの歴史を変える大発見が、そんな遊び心のあるタイトルから始まったと思うと、なんだかワクワクしますよね。
【豆知識②】ひとつの論文が世界に与えた影響
実は「Attention Is All You Need」の著者の8人のうち7人はGoogleを離れ、OpenAIに移籍したり、独立して新会社を立ち上げたりしています。1本の論文が、現代のAI業界の地図そのものを描き変えたとも言えます。
さらに、Transformerの考え方は、自然言語処理の枠を超え、Vision Transformerのような画像認識モデルや、AlphaFold2のようなタンパク質構造予測にも広がっています。言語処理のための発明が、科学全体にも活用されつつあるのです。
文脈を読む力は、人間にとっても、AI にとっても、あらゆる分野で役立つ能力なのかもしれません。
まとめ
ChatGPTの心臓部であるTransformerは、文章を端から読む常識を捨て、全体を同時に「スキャン」して言葉同士の関係性に注目（Attention）する革命的な仕組みです。これにより、長い文脈の理解と高速な学習が可能となりました。
驚くべきは、2017年の誕生から、この仕組みがLLMの大きな土台であり続けていること。今の AI の圧倒的な能力は、このTransformerという土台に、桁違いのデータと計算力、ITエンジニアたちによる効率化や工夫を注ぎ込むことで実現されているのです。
次回予告
具体的にどんな工夫が積み重なって、今のAIは実現されているの？ 第2話 なぜ最近のAIは、こんなに「賢く」感じるの？ へ続く！
