Meta、Llama 4シリーズを発表　マルチモーダル対応・10Mトークン対応の新世代LLMを公開

　Metaは4月5日（現地時間）、次世代大規模言語モデル「Llama 4」シリーズを発表した。今回公開されたのは、軽量かつ長文対応の「Llama 4 Scout」と、高性能・高効率な「Llama 4 Maverick」の2モデルで、どちらもネイティブなマルチモーダル対応とMixture of Experts（MoE）アーキテクチャを採用している。

　Llama 4 Scoutは、170億のアクティブパラメータを16のエキスパートで構成し、10Mトークンという業界最長クラスの文脈長に対応。一方のLlama 4 Maverickは、同じく170億のアクティブパラメータを128のエキスパートで処理し、高精度な推論と効率的な推論性能の両立を実現している。いずれも単一のNVIDIA H100 GPU環境で動作可能。

　なお、Llama 4シリーズはいずれも「Mixture of Experts（MoE）」と呼ばれる構造を採用しており、入力ごとに最適なエキスパート（サブネットワーク）を選択的に活用することで、モデル全体の性能を保ちながら計算効率を大幅に向上させている。これは、超巨大モデルでも現実的な推論コストでの運用を可能にする最新の設計手法だ。

　さらに、Metaは最大規模の教師モデル「Llama 4 Behemoth」の存在も明かした。こちらは2880億のアクティブパラメータを持つMoEモデルで、現在もトレーニング中。GPT-4.5やClaude Sonnet 3.7を超えるSTEM系ベンチマーク性能を持つとされる。

　ScoutおよびMaverickは、公式サイトおよびHugging Faceで公開されており、Meta AIアシスタント（WhatsApp、Messenger、Instagram、Web）にもすでに組み込まれている。