検索は「今あるもの」しか返さない。問題はどのように記憶を渡すか
日本では「RAG」がバズワードのように広がっている。一方で、デモやPoCでは動くのに、本番環境で使うには不安が残る──DevRev Japanの鈴木孝規氏は、多くのチームが直面しているこの課題を、1件の架空の問い合わせに沿って掘り下げた。
あるSaaS企業に、顧客から「ログインできません。朝から全社員が入れない」という問い合わせが朝9時に届いた。AIエージェントにZendesk・Jira・Salesforce・Notionを横断調査させると、4つのツールを300〜600ミリ秒ほどで直列に呼び出した末に、確信度「high」を示しながら「すでに修正済みです」という調査結果を返してくる。だが実際には、先週別の原因で解決した既知のチケットと、今朝発生した新しいチケットを取り違えており、顧客名も似た別の企業のものと混同し、ドラフト段階の手順書を類似度の高さだけで現行版と判定していた。
検索は「今あるもの」しか返さない。システム間に共通のキーがなく、似た会社名やバージョン違いの手順書を区別できないためだ。鈴木氏は、これはモデルの性能の問題ではないと強調する。モデルが公開情報しか学習しておらず、社内固有の情報を知らないのは今後も変わらない。問題は「どのような記憶をAIに渡すか」にある。
現在のAIエージェントは、人間に質問されて答えを返す「壁打ち相手」の域を出ていないと鈴木氏は指摘する。読むだけの用途であれば、精度が多少低くても人間が「それは違う」と指摘し直せば済む。しかし顧客への返信やデータの書き換えといった「アクション」を任せる段になると、一度実行された時点で事故になる。結局、AIがどれだけ速く動いても、確認と修正のために人間がボトルネックになってしまう。
一方、社内に必ずいる「大体のことを知っている」担当者に同じ質問をすると、10秒で的確な答えが返ってくる。「それは先週の障害とは別だね。担当者はこの人。あと、このお客様は商談中だから営業にも共有しておいて」というように、原因・担当・商談の状況までが素早く出てくる。
この担当者の頭の中では、チケットと顧客、商談、担当営業、そして製品機能と過去のIssue、現行の手順書までが線でつながっている。存在するデータそのものは、AIが参照したものと変わらない。違うのは、どのデータとどのデータが関係しているかを、あらかじめ知っているかどうかだ。この「線でつなぐ」作業を担うのが、ナレッジグラフだと鈴木氏は説明する。
