生成AIの活用、2024年は「検索」の重要性が高まる
グローバルだけでなく、日本においても大規模なECサイトやアプリケーションで広く支持されている「Elasticsearch」は、生成AIを組み込んだ機能強化を加速させている。
多くの人がChatGPTなどで生成AIの利便性を認識している一方、企業利用においてセキュリティを担保することは難しい。従業員からは「安全に使う方法がわからない」と声が挙がる中、「利用を急ぎたい」とする経営陣の要望に頭を悩ませている担当者も少なくないだろう。
そのために実践されているのが「RAG（Retrieval Augmented Generation：検索拡張生成）」と呼ばれる、生成AIによる回答の精度を向上させるための手法だ。とはいえ、社内データを適切に“検索”できなければ意味がなく、情報の種別によっては制限をかける必要もでてくるだろう。だからこそ、Elasticsearchで培ってきた技術が必要になってくる。そこで、Elasticでサーチソリューションの製品責任者を務めるマット・ライリー（Matt Riley）氏、同社日本法人でプリンシパルソリューションアーキテクトを務める古久保武雄氏に、既存システムに生成AIを組み込むポイントを訊ねた。
＊ ＊ ＊
──2023年は「生成AI元年」と言われるほどに注目が高まりました、このトレンドの変化をどう捉えていますか。
マット・ライリー氏（以下、ライリー）：2022年末に生成AIが登場すると、2023年には驚くほどの速さで採用が進みました。とはいえ、長い目で見たときには“初期段階”だと言えるでしょう。また、生成AIの普及と共に「従来の検索は置き換えられる」との見方もありましたが、実際には「併用すべき」だとハッキリしてきました。
現在、GPT-4やGoogle Bard、Geminiなど、多くの大規模言語モデル（LLM）が利用されており、その使われ方はコンテキストに沿った回答を生成するという点で同じです。とはいえ、その回答精度には差があり、学習されているデータに基づいた回答しか得られない。そこが生成AIの活用における大きなボトルネックだと感じます。
古久保武雄氏（以下、古久保）：米国と比べると少しだけ遅れている部分はありますが、日本企業も同様の課題を抱えていますね。
ライリー：言語モデルが学習していない社内データなどを参照しながら、高精度の回答を得ることはアプリケーション開発において欠かせなくなっています。
我々はお客様がアプリケーションを構築するときに必要なツールを提供することを重要視しており、2年前からベクトル検索やハイブリッド検索、LangChainとの統合など、研究開発を進めてきました。そして、生成AIに対するニーズが高まっている今こそ、Elasticsearchに組み込むべきだと「ESRE（Elasticsearch Relevance Engine）」を2023年5月に正式ローンチしたのです。
さらにOpenAIで要約して回答を出力することが可能だ
[画像クリックで拡大]
──なるほど、生成AIと検索のかけ合わせが課題解決の鍵になるのですね。実際にユーザーからはどのような声を聞きますか。
ライリー：「どうすればより効果的に生成AIを活用できるか」を模索する中、プライバシー保護、回答結果の精度向上などを課題視されていますね。
特に、大規模なベクトル検索を用いて解決したい場合、技術的な難易度は高くなります。このときElasticsearchを利用することで解決できる部分もありますが、どのように本番環境で活用すべきかはよく考える必要があるでしょう。
古久保：検索エンジンに社内データを取り込むことで課題解決を図ろうとする動きは、日本でも見られます。とはいえ、「とりあえずやってみる」という段階の企業が多いですね。
ライリー：全体を見たとき、まだ初期段階にあるという点では米国でも同じですが、既に本番環境で活用している企業も見受けられます。
──では、どのように「ESRE」などを活用しているのでしょうか。
ライリー：お客様ごとに用途や目的が異なりますが、データプライバシーを重視するアプリケーションであれば、データプライバシーの制御機能を全文検索だけでなく、ベクトル検索にも適用可能です。
たとえば、ドキュメント単位でアクセス権限を設定できるため、見せるべきでない検索結果が表示されることはありません。このとき、大規模な環境だったとしても瞬時に回答を表示できるだけのスケーラビリティを備えているだけでなく、ベクトル検索と全文検索を組み合わせることで“欲しい情報”を上位表示できる「ハイブリッド検索（RRF：Reciprocal Rank Fusion）」も提供しています。
ハイブリッド検索＋OpenAIによる要約なら適切な回答を導き出せる
他にも、「ELSER（Elastic Learned Sparse EncodeR）」という、セマンティック検索に必要となるトレーニングを施したElastic独自の言語モデルも利用可能です。商用利用可能な同様の言語モデルは他社になく、まさにElasticsearchならではと言えるでしょう。
古久保：日本語での提供はこれからですが、これらの新機能は日本でも使っていただけます。たとえば、「AIアシスタント」というオブザーバビリティとセキュリティソリューションに組み込まれた機能は「こんなことができるのか」と驚かれることが多いですね。
──こうした独自の機能開発は、現場エンジニアの要望に応えたものなのでしょうか。
ライリー：もちろんです、フィードバックは何よりも重要であり、製品ロードマップにも盛り込んでいます。ElasticsearchはOSSとしてスタートしているため、世界中のコミュニティから寄せられたすべての声に目を通し、お客様に必要な機能があれば将来のリリースに向けて追加検討していきます。コミュニティの意見に基づいたプロダクトを作ることは我々の理念であり、そうしてきたからこそ今のElasticがあると言っても過言ではないでしょう。
「Elasticsearch×生成AI」の活用法 デモでわかりやすくご紹介！
ここまで紹介してきたElasticsearchによる生成AIの活用方法はもちろん、「そもそも生成AIを使う前に検討すべきことは？」という疑問までを解消するウェビナーをご用意！ RAGのデモを交えながら“押さえておくべきポイント”をわかりやすく解説しています。好きなタイミングで観ていただけるオンデマンド配信のため、まずはコチラからお気軽にご視聴ください。
