Googleは、3月5日、Android開発向けのLLMリーダーボード「Android Bench」をリリースした。
これはLLMによるAndroid開発タスクのパフォーマンスを測定し比較した公式のサービス。モデル作成者に向けて、高品質なAndroid開発のあり方について明確で信頼性の高い基準を確立することで、ギャップを特定し改善を加速できるよう支援することを目的としている。
本ベンチマークは、GitHubのAndroid公開リポジトリから収集した、難易度の異なる課題からタスクセットをキュレートし構築された。シナリオには、Androidリリース間の互換性を破る変更の解決、ウェアラブルデバイスにおけるネットワーク接続といったドメイン固有のタスク、Jetpack Composeの最新バージョンへの移行などが含まれている。
今回の初版リリースで平均スコアが最も高かったLLMは「Gemini 3.1 Pro」で、「Claude Opus 4.6」が次いで2位となった。
本リーダーボードのメソトロジー、データセット、テストハーネスは、透明性担保のためにGitHubで公開されている。詳細はブログポストより確認できる。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
