対話システムに検索が必要な理由とは？
「LLMがあれば、対話システムに検索は不要だ」という考えもあるかもしれない。だが、「それは間違いだ」と指摘するのは、次に登壇した平賀氏だ。LLMの知識は学習が終わった時点で止まっており、政治経済などの時事問題や天気の情報など、最新の情報には対応できないからだ。加えて、人事・販売・財務など企業固有のデータや非公開情報、あるいは企業内の情報システムに散らばった知識を対話システムから出力したいときに、LLMだけでは対応できない。
「それならLLMをファインチューニングして、追加の知識を与えれば良いのではないか」と思うかもしれない。しかし、ファインチューニングにも次のような課題があり、時間的にもコスト的にも、ファインチューニングだけに依存するのは、あまり現実的ではないという。
＜ファインチューニングの課題＞
- モデルを再訓練して継続的に重みを更新し続ける必要がある。
- 訓練のために高品質なデータセットを用意する必要がある。
- ドメインや課題に特化したモデルを作成する必要がある。
- 破滅的忘却（新しいデータを学習すると、それ以前に学習した知識が急激に失われてしまう現象）の可能性がある。
こうした課題を解消できるのが、LLMに対して外部の情報をリアルタイムで検索・参照させる「検索拡張生成（以下、RAG）」である。「RAGを活用すれば、比較的早く・安く、モデルそのものを変更せずに、組織や対象ドメインの独自データに接続して、モデルを拡張できる。さらにハルシネーションの回避もできるとあって、クーガーでは積極的に活用している」（平賀氏）
別の観点で見ると、最近では、論文や財務文書などの長文を処理できる「ロングコンテキストLLM」も登場している。「これがあれば、わざわざRAGを活用せずに、長文のままLLMに入力するだけで良いのではないか」という発想もあるだろう。実際、ロングコンテキストLLMが最初に出たときには、“RAG is Dead.”のタイトルで記事を投稿したメディアもあったほどだ。
しかし2024年12月の論文によると、ロングコンテキストは構造化された文書に対する理解力は高いが、YES／NOで答えられるような簡単な応答には弱いなどのデメリットもあるという。
「複数のデータソースから事実に基づいた最適な応答を返すには、やはり検索は必要。コンテキストLLMとRAGを内容によって使い分ければ良いのではないか」と対話システムにおける検索の重要性を説き、平賀氏はセッションを締め括った。
バーチャルヒューマンエージェントの研究活動
本記事で、バーチャルヒューマンエージェントにご興味を持たれた方は、ぜひ「Virtual Human Lab（バーチャルヒューマンラボ）」を覗いてみてください！機械学習、脳科学、ゲームAIを融合した、クーガーによるバーチャルヒューマンエージェントの研究活動を一部公開しています。
