ELYZAは、同社が提供する大規模言語モデル「ELYZA LLM for JP」シリーズの最新モデルとして、米Metaの「Llama 3.1」をベースとした700億パラメータの「Llama-3.1-ELYZA-JP-70B」を開発したことを、10月25日に発表した。あわせて、これまで公開していた「ELYZA LLM for JP｜デモ版」の基盤モデルを「Llama-3.1-ELYZA-JP-70B」に差し替える。
Llama-3.1-ELYZA-JP-70Bは、Llama-3.1-70Bをベースに追加の学習（日本語追加事前学習・指示学習）を実施して開発したモデルで、日本語による追加学習を行うことで日本語性能をLlama-3.1-70Bより大きく向上させている。
また、従来のLlama-3-ELYZA-JP-70Bと比較して、ベースモデルをLlama 3.1に差し替えたことによって、長文の処理が可能になったことに加えて、日本語での事後学習プロセスを見直すことで、指示追従能力を改善した。
ELYZA LLM for JPは、ELYZAが提供する大規模言語モデル群の総称で、グローバルモデル以外の新たな選択肢として、おもにセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPIサービスや共同開発プロジェクトといった、さまざまな形態で順次提供を開始していく。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
