SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

CodeZineニュース

東大松尾研発、ELYZAが商用利用可能な70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開

  • X ポスト
  • このエントリーをはてなブックマークに追加

  • X ポスト
  • このエントリーをはてなブックマークに追加

 東京大学松尾研究室発のAIスタートアップ、ELYZAは8月29日、Metaが開発した大規模言語モデル(LLM)「Llama 2」に日本語の追加学習を行い開発した、70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」の一般公開を開始した。本モデルは、研究および商業目的での利用が可能。

 「ELYZA-japanese-Llama-2-7b」は、Metaの英語ベースLLM「Llama-2-7b-chat」に対して、約180億トークンの日本語テキストで追加学習を行ったモデル。70億のパラメータ数は、公開されている日本語のLLMとしては最大規模になる。日本語の追加学習には、OSCARやWikipediaなどに含まれる日本語テキストデータが使用されている。

 全部で4つのバージョンが公開されており、ELYZA独自の事後学習を施した「ELYZA-japanese-Llama-2-7b-instruct」や、日本語の語彙追加により高速化を図った「ELYZA-japanese-Llama-2-7b-fast-instruct」などがある。性能については、同社独自のデータセット「ELYZA Tasks 100」を用いた評価により、1750億パラメータを有する「GPT-3.5」と同等のスコアが算出されている。

 また同社では、ELYZA-japanese-Llama-2-7bの公開に伴い、chatUI形式のデモも公開している。

関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
この記事の著者

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/18275 2023/09/04 09:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング