LLMの日本語能力は？ リーダーボード「Nejumi.ai」の開発・運営から見えてきた課題
【15-B-7】LLMの日本語能力はいかほど？日本最大級のLLMリーダーボードNejumi.aiの開発と運営
ChatGPTをはじめ、オープンに利用できる大規模言語モデル（LLM）が続々と公開される中、これらの日本語能力はどれほどのものなのだろうか。本セッションでは、さまざまなLLMモデルを一律で比較するための日本最大級のリーダーボード「Nejumi.ai」の開発と運営を行っている、Weights & Biases Japan機械学習エンジニアの山本 祐也氏が登壇。最新のLLMモデルの日本語能力の評価方法、評価を深掘りして分析することで得られたさまざまな知見、オリジナルのリーダーボードの作成方法などについて解説した。
この記事は参考になりましたか？
- Developers Summit 2024 セッションレポート連載記事一覧
-
- 生成AIの使う「本物の英語」でマニュアルを作成──LLM時代の外国語テクニカルライティング...
- "ユーザーインサイト"を正しく理解した、プロダクトづくりを──テクノロジーでジェンダー格差...
- LLMの日本語能力は？ リーダーボード「Nejumi.ai」の開発・運営から見えてきた課題
- この記事の著者
-
丸毛 透（マルモ トオル）
インタビュー（人物）、ポートレート、商品撮影、料理写真をWeb雑誌中心に活動。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
-
水無瀬 あずさ（ミナセ アズサ）
現役エンジニア兼フリーランスライター。PHPで社内開発を行う傍ら、オウンドメディアコンテンツを執筆しています。得意ジャンルはIT・転職・教育。個人ゲーム開発に興味があり、最近になってUnity（C＃）の勉強を始めました。おでんのコンニャクが主役のゲームを作るのが目標です。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
