生成AIの普及で問われる「検索」の役割、Elastic社が語るRAGの可能性とは

【16-D-3】Elasticが目指す生成AI 活用の将来像

　分散型RESTful検索／分析エンジン「Elasticsearch」を核として、検索のパワーを活かすソリューション群を提供するElastic株式会社。昨年の夏には、検索エンジンを拡張した生成AIを活用できる機能として、「Elasticsearch Relevance Engine（以下、ESRE）」を発表した。「生成AIの時代だからこそ、検索の重要性は増している」と語るのは、同社ソリューションアーキテクチャ・プリンシパルソリューションアーキテクト 杉本知洋氏。その真意とは？

生成AI時代に問われる「検索」の役割

　Elastic社が創業したのは2012年。この10年間を振り返ると、GitHubのスター数10万3000以上、ダウンロード数420万以上、貢献社数3500以上、プルリクエスト18万3000以上、コミット14万8000以上、Elastic Cloud（Elastic社が提供するマネージドサービス）が1日で処理する検索リクエスト数60億以上となっており、検索を通じてデータ活用に新たな可能性を生み出すとともに、多くのユーザーに貢献してきたことがわかる。

　当初は、創業者が妻のためにレシピ検索アプリを作ろうと、オープンソースの検索エンジンライブラリであるApache Luceneをベースに構築されたElasticsearchは、「無料かつオープン」を志向しながら、ログ監視・アプリケーションパフォーマンス監視・インフラ監視・シンセティック監視・リアルユーザー監視など、さまざまな機能を追加しながら進化を続けている。

　ところが2023年、センセーショナルな事件が起きる。「検索」の世界しか知らなかった私たち恐竜のもとに、突如、「生成AI」という隕石が落ちてきたのだ。かつての歴史がそうであったように、隕石の衝突がもたらす環境の変化によって、私たち恐竜は滅びる運命を受け入れるしかないのか——。

　賢明な開発者たちは、新たな環境に適合すべく、生成AIをどう組み込めば良いのか、さまざまな実験を始めた。そこで浮き彫りになった課題が以下のようなものである。

• ハルシネーション、誤回答……嘘の情報をあたかも本当かのように返答してくる。
• 複雑な技術スタック……生成AIを組み込むには、いろいろな場所をAPIでつなぐなどしているうちに、構成が複雑になってしまう。
• プライベートデータへのリアルタイムなアクセス……生成AIは汎用的なデータを学習しているため、最新の情報や業界特有の専門知識などが不足している。

　なかでも最も大きいのが、「プライベートデータへのリアルタイムなアクセス」だろう。この問題を解決するには、「ファインチューニング」と「RAG（Retrieval-Augmented Generation：検索機能拡張生成）」の2つの手法があるが、ファインチューニングには相当な時間やお金のコストがかかってしまう。

　「だからこそ、すでに実績のある検索を活用した『RAG』を活用すべきであり、『検索は今まで以上に重要になっている』と言えるのだ」と杉本氏は強調する。

Elastic株式会社 ソリューションアーキテクチャ・プリンシパルソリューションアーキテクト 杉本知洋氏

　「検索は生成AIに駆逐されるのではないかと思われるかもしれないが、まったくそんなことはない。Elasticはこれまで培った検索技術を用いて、プライベートなデータと生成AIの橋渡し役を担っていく」（杉本氏）

プライベートデータ（左）と生成AI（右）をつなぐにはElasticの培った検索技術が欠かせない