GoogleのKaggleチームは1月14日（現地時間）、AIモデルの評価をより現実に近い形で行える「Community Benchmarks」を新たに公開した。
「Community Benchmarks」は、従来の静的スコア指標だけでは測れないモデルの挙動を可視化し、利用者自らがカスタム評価タスクとベンチマークを作成・共有できる仕組みである。開発者はマルチステップ推論やコード生成、ツール利用、画像認識など、様々なタスクを設計可能で、これらをまとめてベンチマークを構築できる。各タスクの実行結果は再現性が保たれており、主要研究機関による最新モデルへの無料アクセスも提供される。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
