RAGは動くのに、なぜ本番のAIエージェントは間違えるのか──DevRevが説く、AIに渡す記憶の設計

【17-C-3】AIエージェントは「チームメイト」になれるか - 開発・サポート・ビジネスをつなぐ新しい働き方

関係性・時系列・権限という組織の記憶を渡すことで、AIはチームメイトになる

　鈴木氏が紹介したのは、米国のフィンテック企業「BILL」の事例だ。米国GDPの約1％に相当する取引を処理する金融機関で、年間140万件の問い合わせのうち70％を、AIエージェントが人手を介さずに解決しているという。

　既存のSalesforce Service Cloudなど現場のツールは一切置き換えず、裏側でシステムをつなぎAIエージェントが自動でモニタリングする仕組みを構築した結果、返金処理のように従来は数分から数時間かかっていた問い合わせも、AIによって数秒で解決されるようになり、年間で約500万ドルのコスト削減につながった。最初の顧客セグメントは契約から約7週間で本番稼働し、全セグメントへの展開までも15週間で完了している。

年間140万件の問い合わせ、70％をAIが人手を介さず解決、年間500万ドルのコスト削減

　この効果がモデルの進化によるものではないことを示すため、DevRevは第三者機関Laude Instituteと共同で「Enterprise-Bench」というベンチマークを作成し、データセットと評価方法をすべて公開している。同一モデル・同一データで検証した結果、データの取得方法をナレッジグラフ経由の記憶に変えるだけで精度は18ポイント向上した一方、モデルを新しいものに変えても向上したのはわずか1ポイントだった。同じ質問に対する回答の再現性を示すpass@5の値も、記憶を渡した場合は100％だったのに対し、MCP経由で都度検索させた場合は10回中2〜7回にとどまっている。

　同じClaudeのモデルを使って比較した実測動画も紹介された。「最近の問い合わせから、顧客の不満に共通するテーマを教えて」という同一の質問に対し、都度データを取りに行くClaude単体は不満を箇条書きで並べるだけで、どのチケットが根拠かを示せない。一方、あらかじめ構造化された記憶を読む構成では、元チケットへの出典付きで具体的な事象まで踏み込んで整理できたという。この比較でトークン使用量は95％削減され、速度は5.5倍に向上した。同じモデルでも、渡す記憶が違うだけで結果はここまで変わる。

モデルを新しくしても+1ポイントに留まった一方、データの取得方法を変えるだけで精度は+18ポイント

　DevRevはこの仕組みを「Computer, by DevRev」という製品として提供している。200名を超えるエンジニアが2年以上、1.5億ドル以上を投じて開発してきたものだという。ナレッジグラフや時系列、権限フィルタといった基本構造自体はOSSでも構築できるが、異なるシステム間のイベントを自動で結びつける仕組みや、変更の影響を先回りで通知する仕組みなど、4件の特許が同社の技術の骨格になっている。ナレッジグラフに特化した企業は珍しく、鈴木氏はより大きな社会課題に取り組む企業としてPalantir社の名を挙げつつ、DevRevは企業向けのナレッジグラフに特化していると位置づけた。

　鈴木氏は最後に、AIエージェントが本番で期待通りに動かないとき、まずモデルを疑う前に、AIに渡している記憶を確認してほしいと呼びかけた。部門をまたいで関係がつながっているか、いつ何が変わったかが分かるか、誰に何を見せてよいかが制御されているか。この関係性・時系列・権限という組織の記憶を渡せて初めて、AIエージェントは単なる道具ではなく、チームメイトになれる。

関係・時系列・権限という組織の記憶を渡せば、AIエージェントは「チームメイト」になれる

DevRev Japan合同会社からのお知らせ

　本セッションでご紹介したサービスにご興味を持たれた方は、ぜひ公式サイトをご覧ください。

• 製品・サービス詳細ページ
• DevRev Japan公式X（旧Twitter）
• DevRev Japan公式YouTube