Elasticsearchは検索AI、データ検索だけでなく、ログ分析、セキュリティ分析にも強みを発揮
DXの実現に向けて多くの企業がさまざまな取り組みを行っている。そんな流れの中で、昨今、キーワードとして「内製化」が注目されている。
そのような流れがある一方で、「DXを任された内製化チームの中には、やることが多すぎて、どこから手を付ければよいのかわからないと頭を抱えている人も多いのでは」と杉本氏は問いかける。
AI検索企業、Elasticsearchは、「誰もが、リアルタイムかつ大規模に、あらゆるデータから重要な答えとインサイトを見つけられるように支援する」ことを目的に、Search（検索）、Observability（可観測性）、Security（セキュリティ）を一つのプラットフォームで提供している。このプラットフォームを通じて多くのお客様に、データ検索だけでなく、データを用いてITシステムの稼働状況の把握、またセキュリティ運用・SIEMなどで活用いただいている。
Elasticsearchは地球上にある多くのWebサイトに搭載されている検索エンジンの裏側を支えていると言われているだけに「特に検索AI、ログ分析、セキュリティ分析が強み」と杉本氏は紹介する。
それだけではない。分散している大量のデータを扱えることに加え、ストレージコストを最適化する仕組みを備えている。「可視性、保存期間、パフォーマンス、予算、すべてのバランスを取ることができます」（杉本氏）
例えばストレージであれば、検索速度に合わせて、Hot、Warm、Cold、Frozenと4種類のストレージを用意。高速に検索するだけではなく、長期的なデータ活用に対応する術も有している。
またElasticsearchを使えば、オンプレやマルチクラウド、ハイブリッドクラウド、SaaSなど、さまざまな環境をサポートしているので、運用の集約も可能になる。「今や世界中のいろんな企業と連携してビジネスを展開することも珍しくありません。日本国内はもちろん、世界中に分散したクラスターを一つの場所で集中管理したいというケースにも対応。またスケールさせることも容易にできます」（杉本氏）
生成AIでは対応が難しい検索のケースとは
このようなソリューションとして発展させた背景にあるのは、ユーザー体験の向上や運用の回復力の向上、セキュリティのリスク軽減などのビジネスの課題はすべてデータにつながっていると考えられるからだ。杉本氏は「PoC段階のものもある」と前置きしたうえで、いくつか事例を紹介してくれた。
例えばHRのヘルプデスクであれば、「私の部門の従業員に対する会社の401kポリシーの要点は何ですか。加入するにはどうすればよいですか」、ECサイトであれば、「町田市の200平方メートルの裏庭に散水システムを構築するには、どのような材料リストとツールが必要ですか」と問いが投げかけられたとしよう。このような問いに回答できるのは生成AIだが、前者の問いであれば「HR部門に聞いてください」という回答を返すことになる。また後者の問いであれば、生成AIは散水システムを構築するためのツールの一覧を出すことはできるが、自社のECサイト内から同じものを見つけてくるのは難しい。
Elasticsearchでは生成AIを次の2つの目的で活用している。1つ目はRAG（Retrieval-Augmented Generation／検索拡張生成）アーキテクチャのコンテキスト情報を取得するための検索エンジンとしての活用である。これまでの検索の流れでは、ユーザーが質問をすると、裏側にあるデータベースやFAQなどのページの中から、質問に合った適切なページをいくつかピックアップして回答していた。しかしRAGを活用することで、質問と答えの元ネタを生成AIに投げ、より人間らしい回答をすることができるようになる。しかもピックアップされたすべての記事を読むことなく、生成AIが解釈した上で回答してくれるのだ。だがRAGの活用で重要になるのが、正しいコンテキストデータを持ってこれるかどうか。「そこができなければ、どんなにプロンプトを頑張って作成しても、生成AIのファインチューニングにコストをかけても、賢い検索エンジンにはなりません。Elasticsearchは大量のデータの中から最適な情報を探すのが得意。つまりElasticsearchはRAGの検索エンジンに最適なんです」と杉本氏は力強く語る。
その理由としてまず杉本氏が挙げたのは、Elasticsearchが検索の手法としてベクトル検索と従来の全文検索を組み合わせたハイブリッド検索を採用していること。このような手法を採用している理由として、「個人的な意見ですが、日本語は解釈の幅が広いので、それをうまく解釈できるベクトルのエンペディングモデルがあるとは言えないため。これまでそれなりにうまく活用されてきたテキスト検索を使わない手はないと考えた」と杉本氏は話す。
次にドキュメントレベルのセキュリティにも対応している点。「検索エンジンで忘れがちなのは、権限設定。これがきちんとできることも重要」と杉本氏。データベースはきちんと権限設定がされていることが一般的。だが検索エンジンに権限設定がされていなければ、「出してはいけないデータが出てしまう可能性がある」と杉本氏は指摘する。万が一、出してはいけないデータが検索によって流出すると大問題になる。「Elasticsearch は権限設定の機能を持っているため、仕組み的にリスクが減らせる」（杉本氏）という。
生成AI活用の2つ目の目的はAIアシスタントである。Elastic AIアシスタントを活用すれば、オブザーバビリティやセキュリティのアラートに対し、アラートのサマリーや解決方法などについて、チャット形式で回答、分析できるようになるという。ElasticsearchにはGitHubのイシューを取り込む仕組みを用意している。そのGitHubのイシューを取り込んでおけば、あるアラートが上がってきたときに、「これは既知のエラーですか」とAIアシスタントに尋ねると、「GitHubのイシューナンバーの●●に書かれています」という答えを返してくれるような仕組みをつくることができるのだ。「情報を集約することがナレッジへの一歩となる。情報を機械的に取り込み、それを活用できるような世界にしていく。そのためのツールがAIアシスタントです」（杉本氏）
操作方法は簡単。Elasticsearchの導入により大きな効果を得ている事例も
次に杉本氏は、どれだけ簡単にElasticsearchが使えるかデモを実施。「本文とタイトルに関する重み付けや、日付の古いものは関連付けを下げるなど、ロジックの設定もボタンをポチポチと押すだけでできます」（杉本氏）
また全文検索だけの場合と、ベクトル検索を組み合わせた場合の回答の違いなどについても紹介してくれた。
他にも、実際にElasticsearchを導入した企業の事例も紹介。ネットワーク機器ベンダーのシスコシステムズでは、Google Cloudの機械学習プラットフォームVertex AIとElasticsearchの組み合わせにより、73％の検索クエリを高速化。またサポートエンジニアの稼働時間を毎月5000時間削減したという。また学術論文検索サービスConsensusでは、ELSERというElasticsearchのスパースモデルを追加することで、検索精度を30％向上。検索待ち時間も75％短縮されたという。
「当社ではElasticsearch Labs、Elastic Observability Labs、Elastic Security Labsというサイトを運営し、積極的に情報を発信。当社のソリューションに関する最新情報を得たいかたは是非、アクセスしてください」（杉本氏）
またそれらの情報を見て、さらにElasticsearchの可能性を試したい人は、クラウドのトライアルが使える。「Elasticsearchは検索AI、ログ分析、セキュリティ分析を得意としているソリューション。それらに課題を感じているのなら、14日間無料で試せるので、ぜひ、活用してほしい」と杉本氏は語り、セッションを締めた。
