Elasticsearchの組み合わせでより有効な生成AIの活用を実現する

【Session5】Elasticsearchによる生成AIの活用

最新バージョンElastic8.9が提供する新機能

　「30年検索一筋で食べている人もいる」（古久保氏）ぐらい、検索は奥深い技術である。そこでElasticsearchは、その奥深い技術になるべく簡単にアプローチできるような仕組みを提供している。先述した通り、全文検索は検索ワードにマッチするドキュメントを探し出す。Elasticsearchではサードパーティの密なベクトル（dense vectors）により類似性を高速に返してくれるモデルを投入すると、自動で使えるようになる。

　それ以外にもElasticsearchではElastic社で独自にトレーニングしたELSER（Elastic Learned Sparse EncodeR）というテキストを疎なベクトル（Sparse vector）に変換するための言語モデルの活用も可能。ELSERのテキスト拡張機能により、関連語や類語、同義語もまとめて検索できる。例えばジャングルで検索しても、熱帯雨林というワードが入っている文章も返してくれるようになる。

　このような仕組みにより、これまでの通常の検索ではワードが入っていなければゼロヒットになる問題を解決できるわけだ。だがベクトル検索の課題は、類似性の高いものを探してくれるが、明後日の答えが返ってくることもあること。

　そこで最新バージョンのElastic8.9では、RRF（Reciprocal Rank Fusion）という複数のランキング方法を合成する仕組みを導入し、欲しい情報を正しく上位に示すことができるよう、検索性能の向上を図っている。

最新バージョンではさらに検索精度が向上

　生成AIの活用は文書検索だけでは無い。「セキュリティやオブサーバビリティへの適用を提案したい」と古久保氏。それを可能にするのが、Elastic8.9で提供された「AI Assistant」である。ログでエラーや異常を見つけたとしても、何が書かれているかすぐに把握することは難しい。だが、AI Assistantを利用するとアラートの内容を要約してくれるなど、次のアクションを提案してくれるのだ。

　「これまではアラートやエラーメッセージから正しく次のアクションを見極められる人材が必要だったが、AI Assistantにより高度なセキュリティのスキルを持っていなくても、生成AIの力を借りて対応可能になる」と古久保氏は力強く語る。

　Elasticsearchと生成AIを組み合わせて使うことで、本当に欲しい情報をわかりやすい形で手に入れることができる。しかもElasticsearchに機密情報を入れることで、外部に漏れるコトもなり。「Elasticsearchは生成AIを活用する基盤になるはず。14日間なら無料で試すこともできる。また、すぐに遊べるプログラムをGitHubで公開している。OpenAIのアカウトさえあれば、すぐにデモができるようになっているので、ぜひ触れて実感してほしいですね」（古久保氏）