Replitは10月28日（現地時間）、長期的なソフトウェア開発を対象としたベンチマーク「ViBench 2.0」を公開した。エージェントは空のプロジェクトから開始し、Uber、GitHub、Google Docsなどをモデルにしたプロダクトを1機能ずつ構築する。このベンチマークは、Fireworksの「Specialized Intelligence Index（SII）」にも加わった。
ViBench 2.0は、17のプロダクト、241の機能リクエスト、544のテストプランで構成される。エージェントは短い仕様から最初のバージョンを作成し、既存コードの上に最大18の機能を追加する。最後の機能の構築後、採点エージェントが実際のブラウザでテストプランを実行する。17のプロダクトのうち8つはHarbor形式でGitHubに公開されており、残る9つは非公開である。
Fireworksによる公式結果では、全テストプランを通過したビルドの割合（pass@1）は、GPT-6.1 Solが65%、GPT-6 Astraが60%、Opus 5.5が49%だった。1ビルドあたりのコストは、Solが約12ドル、Astraが約90ドル。DeepSeek V4.1 Flashは約2.50ドルでテストプランの77%を通過したが、オープンウェイトモデルで全プランを通過したビルドはなかった。また、上位モデルの失敗ビルドの4分の3近くは、機能同士が交わる部分でのみ失敗していた。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
