Cognitionは6月8日（現地時間）、AI生成コードの品質を評価する新しいベンチマーク「FrontierCode」を発表した。
FrontierCodeでは、単に機能が正しいかどうかだけでなく、テスト品質、修正範囲の適切さ、コーディングスタイル、そしてコードベースの標準への準拠までを審査対象とし、オープンソースプロジェクトのメンテナー20名以上が現実的かつ多様な課題を作成している。さらに、各課題は複数回のレビューと厳格な品質管理プロセスを経て品質が確保されている。
最大難度の「Diamond」サブセットでは、最良のモデルでも合格率が13.4%にとどまるなど、現行AIモデルでも高い壁が存在することが明らかとなった。一方で、フロントラインモデルとオープンソースモデルの間には大きな性能差も見られたという。
FrontierCodeは、ユニットテストに加え、独自の評価軸や人によるルーブリック評価も組み合わせることで、従来より誤判定率を81%低減し、モデルの実力をより精緻に可視化できるとしている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
