LLaMAのオープンソース実装OpenLLaMA、3000億トークンでトレーニングされたチェックポイントをリリース

　OpenLM Researchは、米Meta AIが開発した大規模言語モデル「LLaMA（Large Language Model Meta AI）」のライセンスに基づく、オープンソースの大規模言語モデルOpenLLaMAのパブリックプレビューとなる「OpenLLaMA 7B」の、3000億トークンでトレーニングされたチェックポイントを、5月3日（現地時間）にリリースした。

　今回リリースされた300Bチェックポイントは、既存の実装と広く互換性を持たせることを目的に、BOSトークンの影響を受けにくくしている。

　トレーニングは、1.2兆を超えるトークンを含むLLaMAトレーニングデータセットを再現した、TogetherによるRedPajamaデータセットによって行われており、モデルアーキテクチャ、コンテキスト長、トレーニングステップ、学習率スケジュール、オプティマイザなど、元のLLaMAペーパーとまったく同じ前処理ステップとトレーニングハイパーパラメーターに従っており、RedPajamaデータセットを使用している点のみLLaMAとは異なる。

　あわせて、言語モデルのトレーニングと微調整のために開発された、JAXベースのトレーニングパイプラインであるEasyLMを使用して、クラウドTPU-v4によってモデルをトレーニングしている。通常のデータ並列処理と完全に分割されたデータ並列処理（ZeRO ステージ3）を組み合わせて使用することで、トレーニングのスループットとメモリ使用量のバランスを取っており、全体としてトレーニングの実行で毎秒1900トークン/TPU-v4チップを超えるスループットに達した。

　元のLLaMAモデルは1兆トークンでトレーニングされ、GPT-Jは5000億トークンでトレーニングされている一方、2000億トークンでトレーニングされたOpenLLaMAは、ほとんどのタスクでLLaMAやGPT-Jに匹敵するパフォーマンスを示し、一部ではそれらを上回る結果となっている。この結果から、1兆トークンでトレーニングされたOpenLLaMAは、さらなるパフォーマンスの向上が期待できる。