RAGを使うと、検索はどのように変わるのか
LLMによるテキスト生成に、外部情報の検索を組み合わせることで、最新の正確な情報に基づいた回答を導き出させるRAG。
たとえば「弊社の確定拠出年金の申込方法は何ですか？」とWeb検索エンジンに聞いても、まともな結果は返って来ない。ではRAGを使うとどうか。まずRAGでは、社内のイントラにあるようなデータを検索できる状態にしておく。そのデータの中から検索エンジンを介して、関連する結果を探す。さらに、そのデータをプロンプトに組み込んだ形で、当初の質問を生成AIに投げると、適切な回答が返ってくるという流れだ。
「これであれば検索まわりのチューニングをすれば精度を上げられるし、LLMの利用料を最小限に抑えられるメリットもある」（杉本氏）
このような生成AI時代の検索を見据え、Elasticが発表したのが「Elasticsearch Relevance （ESRE）」。利用者が自社独自のリアルタイムデータを使用して、ビジネスに特化したAI検索アプリを開発できるものだ。魅力的なAI検索アプリを開発するための各種開発ツールが提供されており、テキスト・ベクトル・ハイブリッド検索をさまざまなLLMと連携することが可能。ドキュメントやフィールドレベルセキュリティ、オンプレもしくは50以上のクラウドリージョンといったエンタープライズレディなプロダクトとなっている。以下はその主な特徴だ。
テキスト・ベクトル・ハイブリッド検索
- 文章検索＆ベクトルデータベース
- RRF（Reciprocal Rank Fusion）：ハイブリッドスコアのモデル（ベクトル＆文章検索）による意図検索
- kNN（k-Nearest Neighbor）とハイブリッドクエリのフィルタとファセット
機械学習モデルの選択肢
- 自作のトランスフォーマーモードを管理、あるいはサードパーティLLM（OpenAI）
- Elastic独自のゼロショットMLモデル
- LangChainなどのサードパーティツールとの統合
エンタープライズレディな開発者体験
- ドキュメント・フィールドレベルセキュリティ
- いくつかのコンプライアンスフレームワークのカバレッジ
- オンプレ上、あるいはクラウド上の30以上のリージョンにデプロイ
