Meta、テキストプロンプトを使用したコード生成に特化したLLM「Code Llama」をリリース

　米Metaは、テキストプロンプトを使用してコードを生成可能な大規模言語モデル（LLM）の「Code Llama」を、8月24日（現地時間）にリリースした。

　Code Llamaは、Llama 2のコードに特化したバージョンであり、コード固有のデータセットでLlama 2を追加トレーニングし、同じデータセットからより多くのデータを長時間サンプリングすることによって作成されている。

　Llama 2上に構築された、強化されたコーディング機能によって、コードと自然言語プロンプトの両方からコードとコードに関する自然言語を生成可能で、Python、C++、Java、PHP、TypeScript／JavaScript、C#、Bashといった、現在使用されている一般的な言語を数多くサポートしており、コード補完やデバッグにも使える。

　7B、13B、34Bパラメータの、3つのサイズを用意し、それぞれのモデルは500Bトークンのコードおよびコード関連データでトレーニングされている。また、7Bおよび13Bのベースおよび命令モデルは、中間補完（FIM）機能でもトレーニングされているため、生成されたコードは既存のコードにそのまま挿入できる。

　なお、3つのモデルはさまざまなサービス提供要件とレイテンシ要件に対応し、7Bモデルは単一のGPUで実行可能で、34Bモデルは最良の結果を返し、より優れたコーディング支援を実現する一方、7Bや13Bモデルは高速で、リアルタイムコード補完など低遅延を必要とするタスクにより適している。

　いずれのモデルも、最大100000トークンのコンテキストで安定したコード生成を提供し、16000トークンのシーケンスでトレーニングされ、最大100000トークンの入力で改善がみられる。

　あわせて、Pythonに特化したCode Llama - Python、および自然言語命令に特化し、人間がプロンプトから何を期待しているのかをよりよく理解できるようになるCode Llama - Instructも用意されている。