Vercelは2月9日（現地時間）、AIがウェブ情報取得・要約の実態を計測し、管理する評価システム「AI Engine Optimization（AEO）」の構築を発表した。従来はチャット型AIモデルを対象としていたが、コーディングエージェントも含むことで可視化範囲を拡大した。
AEO評価においては、AI Gatewayを利用して各種LLM（GPT、Gemini、Claudeなど）へプロンプトを送信し、挙動や出典を記録する。コーディングエージェントへの対応では、EphemeralなLinux MicroVMを活用したVercel Sandboxを用い、各エージェントCLIを独立した環境で実行する。実行過程・出力のトランスクリプトは、各エージェントごとに形式が異なるため、正規化レイヤーを中心とした多段階の処理で統一的なデータ構造に変換し、評価・分析可能とした。
また、AI Gateway経由の実行によって認証・課金・ログ管理も一元化している。テストの結果、コーディングエージェントはプロンプトの約20％でウェブ検索を行っていることが明らかとなった。今後はOSS化や方法論の詳細公開、評価対象エージェントやプロンプト種別の拡大も予定している。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
