東京大学松尾研究室発のAIスタートアップ、ELYZAは8月29日、Metaが開発した大規模言語モデル（LLM）「Llama 2」に日本語の追加学習を行い開発した、70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」の一般公開を開始した。本モデルは、研究および商業目的での利用が可能。
「ELYZA-japanese-Llama-2-7b」は、Metaの英語ベースLLM「Llama-2-7b-chat」に対して、約180億トークンの日本語テキストで追加学習を行ったモデル。70億のパラメータ数は、公開されている日本語のLLMとしては最大規模になる。日本語の追加学習には、OSCARやWikipediaなどに含まれる日本語テキストデータが使用されている。
全部で4つのバージョンが公開されており、ELYZA独自の事後学習を施した「ELYZA-japanese-Llama-2-7b-instruct」や、日本語の語彙追加により高速化を図った「ELYZA-japanese-Llama-2-7b-fast-instruct」などがある。性能については、同社独自のデータセット「ELYZA Tasks 100」を用いた評価により、1750億パラメータを有する「GPT-3.5」と同等のスコアが算出されている。
また同社では、ELYZA-japanese-Llama-2-7bの公開に伴い、chatUI形式のデモも公開している。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
