Devinを開発するCognitionは10月27日（現地時間）、コーディングベンチマークの新版「FrontierCode 2.0」を公開した。AIエージェントの出力が実際にマージ可能かを、本番コードの基準で評価する。ユーザーの意図の推測や、明示されていない制約の順守といった能力も測定対象とする。
2.0はFrontierCode 1.0の手法をおおむね踏襲している。20人以上のオープンソース開発者が、1タスクあたり40時間以上をかけて、自身が管理するリポジトリからタスクを作成した。2.0では対象リポジトリを55%増やし、セキュリティパッチやパフォーマンス最適化も対象に含めた。満たさない場合にスコアが0となるブロッキング基準は43%増加した。FrontierCode 1.1と比べると、参照解答が変更するファイル数は平均67%、コード行数は89%多く、コードベースの規模は25%大きい。
明記されていなくても、指示や既存コードから推測できる正しさを求める「徹底性（thoroughness）」の基準は、1.1の約3倍に増えた。この基準は、すべての推論レベルで失敗率が最も高かった。一方、スコープ基準は緩和され、失敗率は1.1の9.0%から3.8%に下がった。
結果では、Claude Opus 5.5が45.5%で首位となり、GPT-6 Astraが42.8%で続いた。コストに対する性能ではGPT-6.1 Solが高い結果を示した。同社は、オープンソースモデルには大きな改善の余地があるとしている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
