AIエージェントは「会話」で観測する──Grafana Labsが示すAI時代のオブザーバビリティ

オープンソースのコミュニティがAIの「チートコード」に

　1つ目の柱はオープンであることだ。1年以上前に「Grafana Assistant」をリリースした際、同社は競合を一気に追い越したという。その理由を突き詰めた結果、気づいたのがオープンソースコミュニティの存在だった。

　同社は12年前、オープンソースソフトウェアを開発し、何百ものデータソースとの相互運用性を優先する「ビッグテント」の考え方を選んだ。その結果、何百万人ものユーザーがダッシュボードを作り、ブログ記事やチュートリアルを公開し、「Grafana」を中心としたオブザーバビリティのベストプラクティスがオープンなWeb上に蓄積された。フロンティアモデルはこのコンテンツで学習しているため、Grafanaの使い方をよく知っており、ユーザーが何を実現しようとしているのかも理解しているという。ウッズ氏はこれを「AIにとってのチートコード」と表現し、「オープンに、自由に共有された知識の上に築かれた技術は、今日のAIの世界で優位性を持っています」と語った。

　2つ目の柱はコスト構造の見直しだ。AIインフラへの投資と、AIによるソフトウェア開発の加速が重なり、テレメトリーは急増している。ウッズ氏は、データが増えても価値は比例して増えず、コストだけが膨らむと指摘したうえで、「本当は、コストの問題ではありません。価値の問題なのです」と述べた。

　その解決策の中心が「Adaptive Telemetry」だ。テレメトリーやダッシュボード、アラート、クエリを継続的に分析して使われていないデータを特定し、メトリクスのラベルの集約やログ・トレースのサンプリングを自動で行って、価値のあるデータだけを残す。さらに、マネージドサービスを顧客のクラウドアカウント上で運用する「Bring Your Own Cloud」も提供している。

AI時代のコスト構造を再構築

ステータス200でも、答えは間違っているかもしれない

　3つ目の柱が、AIエージェントのためのオブザーバビリティだ。ウッズ氏は、これまで20年間のオブザーバビリティはCPU、レイテンシ、エラー率、トレースといったシステムに関するもので、作業の単位はリクエストだったと振り返る。しかしエージェントでは、作業の単位は会話になる。

　「エージェントは、400ミリ秒でステータスコード200を返しながら、内容は完全に間違っていることがあり得ます」。丁寧で自信があり、応答も速いのに、返金ポリシーをハルシネーションで作り上げたり、顧客データを漏えいさせたりすることもある。従来のシグナルではすべてが正常に見えるため、会話そのものをシグナルとして扱う必要があるという。

　同社が自社のエージェントを理解するために社内ツールとして作り、製品化したのが、「Grafana Cloud」の「Agent Observability」だ。ウッズ氏はその役割を3つ挙げた。1つ目はエージェントの挙動の把握だ。エージェントは推論のステップ、ツール呼び出し、検索、モデル呼び出しの連鎖であり、そのどれもがおかしな方向に進み得る。OpenTelemetryなどのオープンスタンダードで会話全体をテレメトリーとして取得し、遅いステップや悪いプロンプト、失敗し続けるツールを特定する。ウッズ氏は「分散トレースと同じ発想を、推論に適用したものです」と説明した。

　2つ目はコストの把握だ。会話ごとにトークンが消費され、暴走したエージェントのループひとつで、誰かが気づく前に多額の費用が発生することもある。Agent Observabilityでは、モデル、エージェント、機能、顧客、会話ごとの支出を確認し、アラートや予算で管理できる。今回の調査でも、LLMを活用したアプリケーションを構築している日本の回答者の35％が、モデルやチームをまたいだコスト配分が不明確なことをAIオブザーバビリティの最大の課題に挙げており、4地域で最も高い割合だった。

Agent Observabilityの3つの役割：エージェントの最適化、コストの把握、ユーザーの保護

　3つ目は、評価（eval）によるユーザーの保護だ。ハルシネーション、有害性、プロンプトインジェクション、個人情報の漏えい、ポリシーから外れた回答について会話をスコアリングする。これをリリース前のテストだけでなく、本番環境の実際の会話に対して実行する点が特徴だ。ウッズ氏は、エージェントは非決定的であるとしたうえで、「すべてのパスを事前にテストすることはできないので、稼働時間を監視するのと同じように、品質を監視するのです」と語った。