Cognitionは7月13日（現地時間）、AIコーディングエージェント「Devin」においてFable 5を導入し、旧モデルであるOpus 4.8と比較した場合のコストとパフォーマンスの検証結果を公表した。今回の検証は、DevinのFusionアーキテクチャを活用し、合計3000セッションにわたって両モデルを比較評価したものである。
実験は、リードエージェントとしてFable 5またはOpus 4.8を配置し、それぞれに安価なサイドキックモデル（副エージェント）を組み合わせる形式で実施した。Fable 5は1トークンあたりの価格がOpus 4.8の2倍であるものの、Fusion利用時における合計ランコストはFable 5＋サイドキック構成の方が低く、実際に$1.86で済んだ（Opus 4.8＋サイドキックは$2.04）。また、Fable 5のスコアは60.7で、Opus 4.8の54.6を上回った。さらに、Fable 5の単独利用と比べると、コストは54％削減した一方、スコアはほぼ維持されている。
コスト削減の主因は、Fable 5の効率的なタスク分割と早期の適切な権限委譲にあった。Fable 5はサイドキックへのハンドオフを手早く行い、仕様や制約条件を明確に伝達するマネージャ型の挙動を示した。一方でOpus 4.8は詳細な指示や逐次修正が多く、リード側でのトークン消費が増加した。
分析では、リードモデルとしてのFable 5は平均11.5ターンで処理を完了し、Opus 4.8の半分以下だった。Fable 5は作業の大半をサイドキックに委ねることで高品質かつ低コストを両立した。一方、Opus 4.8は作業の多くを自ら行う傾向が強かった。今回の結果から、Fusionアーキテクチャと高性能リードモデルの組み合わせが、AIエージェントのコスト最適化に有効であることが示された。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
