Metaが新LLM「Llama 3.2」を公開、画像解釈モデルに合わせて端末上で動作する小規模モデルも

　米Meta Platformsは、新開発の大規模言語モデル（LLM）「Llama 3.2」を9月25日（現地時間）に公開した。Llama 3.2は独自ライセンスで公開するオープンソースソフトウェアだ。

　Llama 3.2では、パラメーター数が異なる4種類を提供する。具体的にはパラメーター数がおよそ888億の「Llama 3.2 90B」、およそ100億6000万の「Llama 3.2 11B」、およそ32億1000万の「Llama 3.2 3B」、およそ12億3000万の「Llama 3.2 1B」となる。このうち、前者2モデルは画像を認識する能力を持ち、後者2モデルはスマートフォンなどの小さな端末で動作させることを想定している。

　Meta Platformsは2024年7月に、パラメーター数およそ4050億という莫大な規模のLLM「Llama 3.1 405B」を公開している。このモデルは期待通り素晴らしい性能を発揮しているが、動作させるにはかなりの規模のコンピュータ資源と、深い専門知識を持ったエンジニアが必要になる。Meta Platformsには、それほどの規模のコンピュータ資源を用意できない開発者から、Llamaを使ってみたいという声が寄せられ、その声に応えて規模を抑えたLlama 3.2を提供することにしたという。

　画像を解釈する能力を持たせたLlama 3.2 90BとLlama 3.2 11Bは、訓練済みのLLMに、訓練済みの画像解釈器、そして画像解釈器の解釈結果をLLMに提供するアダプタを組み合わせたものだ。その際に、画像とテキストのペアを使ってアダプタを訓練し、解釈結果と言葉による説明が近づくように訓練し、その過程で画像解釈器のパラメーターを変更した。一方で、LLMにはあえて手を出さなかったが、こうすることでLLMが言語を解釈する能力を維持し、開発者にLlama 3.1の代替としても使ってもらえるようにしたという。

　端末で動かすことを想定したLlama 3.2 3B、Llama 3.2 1Bの開発では、スマートフォン向けのSystem on Chip（SoC）を開発販売している米Qualcommと台湾MediaTek、そして両社にプロセッサの設計を提供している英Armと密接な協力関係を築いたという。

　そしてMeta Platformsは、同社のLLM「Llama」シリーズを用途に合わせて調整するAPIと、周辺ソフトウェアをセットにした「Llama Stack Distributions」を公開した。開発に当たっては、どのような環境でLlamaを動作させても、開発者が共通の手段で操作できるように、米Amazon Web Services、米Dell、カナダOllama、米Fireworks AIなどの企業と密接に協力したという。また、Llama 3.2 3B、Llama 3.2 1Bといった端末で動作させるモデルのために、PyTorch Foundationが開発している実行環境「ExecuTorch」を利用した。

　Llama 3.2は、Amazon Web Servicesの「Amazon Bedrock」、Microsoftの「Azure AI Studio」、Google Cloudの「Vertex AI」、Oracleの「OCI Data Science」などのサービスでも利用できる。