ELYZAは、同社が日本の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」に採択され、計算資源の提供といった支援を受けつつ行ってきた、日本でインフラとして使われる基盤モデルの研究開発の成果を、「GENIAC成果報告会」において公表した。
同研究開発では、新たな日本語LLM「Llama-3-ELYZA-JP-120B」を構築し、モデルの構築にあたって日本語LLMの性能向上に向けた新たな試みとして、
- モデルの基礎能力向上
- 日本特有の知識・表現の性能向上
という、2つの取り組みを実施している。
「モデルの基礎能力向上」としては、同社が従来より取り組んでいたオープンモデルをベースにした継続学習によるモデル開発手法に、モデルサイズ拡張アプローチである「Depth Up-Scaling」を組み合わせることによって、パラメータ数の増強による性能向上を試みた。その結果、複数のベンチマークにおいてGPT-4（0613）を超えるスコアを獲得している。
「日本特有の知識・表現の性能向上」では、日本での社会実装を見据えて日本特有の知識（法令、行政手続きなど）に関する特化学習による性能向上を試みた。その応答性能を測るためのベンチマークを新たに作成して評価したところ、GPT-4（0613）を超えるスコアを獲得している。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
