ELYZAは、同社が日本の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」に採択され、計算資源の提供といった支援を受けつつ行ってきた、日本でインフラとして使われる基盤モデルの研究開発の成果を、「GENIAC成果報告会」において公表した。
同研究開発では、新たな日本語LLM「Llama-3-ELYZA-JP-120B」を構築し、モデルの構築にあたって日本語LLMの性能向上に向けた新たな試みとして、
- モデルの基礎能力向上
- 日本特有の知識・表現の性能向上
という、2つの取り組みを実施している。
「モデルの基礎能力向上」としては、同社が従来より取り組んでいたオープンモデルをベースにした継続学習によるモデル開発手法に、モデルサイズ拡張アプローチである「Depth Up-Scaling」を組み合わせることによって、パラメータ数の増強による性能向上を試みた。その結果、複数のベンチマークにおいてGPT-4（0613）を超えるスコアを獲得している。
「日本特有の知識・表現の性能向上」では、日本での社会実装を見据えて日本特有の知識（法令、行政手続きなど）に関する特化学習による性能向上を試みた。その応答性能を測るためのベンチマークを新たに作成して評価したところ、GPT-4（0613）を超えるスコアを獲得している。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
