オリジナルのリーダーボードを作ってみよう
最後に山本氏は、ユーザー自身が評価系を作成する具体的な方法について紹介した。
Nejumi.aiのリーダーボードは公開されており、誰でもアクセスして利用できる。インタラクティブな分析もその場で実践できるため「動かして洞察を得てほしい」と山本氏は背中を押す。
さらに「自分でリーダーボードを作成してみたい」という人のために、GitHubのコードも公開されている。これを活用すれば、自身の環境で動かしてみることも可能だ。
具体的なリーダーボード作成手順は、まずWeights & BiasesのArtifactという機能かHugging Faceを使ってモデルを準備する。次にConfigで実行条件を設定し、評価を実行する。評価の実行はコンソール上から叩く方法と、Weights & BiasesのLaunch機能でジョブを上げる方法がある。実行ができたらダッシュボード上で結果を確認し、それをリーダーボードに追加する流れだ。
講演を締めくくるにあたって山本氏は、「ここまでNejumi.aiの紹介をしてきたが、リーダーボードに対する企業エンジニアの反応は2通りだ」と話す。
スタートアップのエンジニアの場合は、メールやSlackでHugging Faceのリンクが届き、「いいモデルができたので、すぐに評価したい」と“道場破り”を仕掛けてくる。
一方、大企業の技術者の場合は、「社内でクローズドで評価する方法はないですか」「まずは手元でこっそりやりたい」と問い合わせが来る。
「結論、どちらも可能だ。前者の場合には、今回ご紹介したリーダーボード、既存の評価結果と可視化などのアセットを皆様ご自身でコピーないしインポートするか、あるいはデリケートクラウドやオンプレにインポートすることで、いつでもモデルを評価できる環境を整えられる。また後者のように、こっそり試すやり方もきちんとある。方法はブログなどで公開しているが、不明点があれば随時ご相談いただきたい」
LLMが群雄割拠するなか、開発の指標となるリーダーボードの存在は今や欠かせない。Nejumi.aiの力強いニーズと反響を示す形で、講演は終了した。
