最新バージョンElastic8.9が提供する新機能
「30年検索一筋で食べている人もいる」(古久保氏)ぐらい、検索は奥深い技術である。そこでElasticsearchは、その奥深い技術になるべく簡単にアプローチできるような仕組みを提供している。先述した通り、全文検索は検索ワードにマッチするドキュメントを探し出す。Elasticsearchではサードパーティの密なベクトル(dense vectors)により類似性を高速に返してくれるモデルを投入すると、自動で使えるようになる。
それ以外にもElasticsearchではElastic社で独自にトレーニングしたELSER(Elastic Learned Sparse EncodeR)というテキストを疎なベクトル(Sparse vector)に変換するための言語モデルの活用も可能。ELSERのテキスト拡張機能により、関連語や類語、同義語もまとめて検索できる。例えばジャングルで検索しても、熱帯雨林というワードが入っている文章も返してくれるようになる。
このような仕組みにより、これまでの通常の検索ではワードが入っていなければゼロヒットになる問題を解決できるわけだ。だがベクトル検索の課題は、類似性の高いものを探してくれるが、明後日の答えが返ってくることもあること。
そこで最新バージョンのElastic8.9では、RRF(Reciprocal Rank Fusion)という複数のランキング方法を合成する仕組みを導入し、欲しい情報を正しく上位に示すことができるよう、検索性能の向上を図っている。
生成AIの活用は文書検索だけでは無い。「セキュリティやオブサーバビリティへの適用を提案したい」と古久保氏。それを可能にするのが、Elastic8.9で提供された「AI Assistant」である。ログでエラーや異常を見つけたとしても、何が書かれているかすぐに把握することは難しい。だが、AI Assistantを利用するとアラートの内容を要約してくれるなど、次のアクションを提案してくれるのだ。
「これまではアラートやエラーメッセージから正しく次のアクションを見極められる人材が必要だったが、AI Assistantにより高度なセキュリティのスキルを持っていなくても、生成AIの力を借りて対応可能になる」と古久保氏は力強く語る。
Elasticsearchと生成AIを組み合わせて使うことで、本当に欲しい情報をわかりやすい形で手に入れることができる。しかもElasticsearchに機密情報を入れることで、外部に漏れるコトもなり。「Elasticsearchは生成AIを活用する基盤になるはず。14日間なら無料で試すこともできる。また、すぐに遊べるプログラムをGitHubで公開している。OpenAIのアカウトさえあれば、すぐにデモができるようになっているので、ぜひ触れて実感してほしいですね」(古久保氏)