Vercelは7月27日（現地時間）、AIモデルがアプリケーションコード内のセキュリティ脆弱性をどれだけ正確かつ効率的に発見できるかを評価するベンチマーク「DeepsecBench」を公開した。このベンチマークは、さまざまなAIモデルを対象に、リコール（検出率）、精度、検出コスト、所要時間を測定し、それらを統合したスコアでランキングする仕組みだ。
DeepsecBenchのテストは、既知の脆弱性が含まれるオープンソースコードベースの特定コミットを使い、50件のエントリポイントファイルを抽出、231件の人手による脆弱性検出を「ゴールデンセット」としている。
各モデルについては、既知脆弱性に対しどれだけ検出できたか（リコール）と検出精度（精度）、およびその検出あたりのコストや所要時間が評価項目になる。最高評価となった「GPT-5.6 Sol（xhigh設定）」はスコア35.58、リコールは30.7％、精度は96.3％、コスト55.98ドル、所要時間3時間39分だった。一方、コストパフォーマンスに優れる「Kimi K3（high設定）」はスコア17.56、コスト12.38ドル、所要時間1時間59分といった結果となっている。
モデルの検出コストと性能効率の比較もでき、用途や予算に応じたセキュリティスキャン運用設計が可能になった。例えば、高性能なフロンティアモデルは定期的な監査に、Kimi K3やGrok 4.5のような廉価モデルは高頻度スキャンに活用する、といった柔軟な選択肢が示されている。AIゲートウェイによる単一エンドポイントからの各モデル利用も特徴の一つだ。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
