人間とAIエージェントが同じデータを参照できるように
AIエージェントを活用するようになると、オブザーバビリティのログは人間だけではなくAIエージェントも参照するようになる。AIエージェントが縦横無尽にログを読み取れるようになるなら、人間も同じデータを同じ自由度で確認できなければならない。なぜなら、AIエージェントがどのデータやログを参照して判断したのか、その根拠を追えなくなってしまうためだ。
そうした観点からも、人間とAIエージェントがともに同じデータ基盤を参照できるようにする必要がある。人間にとってはSplunkでも、Grafanaでも、Kibanaでも、使い慣れたUIでどのデータも確認できるようにするということだ。チェッター氏がデカップリングを重視するのはサイロ化で起きる問題だけではなく、現場に新たなツールを習得する負荷をかけないためでもある。いくつもの現場を見てきたチェッター氏は「人間は行動を変えるのが何よりも難しい」と話す。
こうしたログに関しては、捨てずに済むようにデータを圧縮できること、そして高速に検索できることが重要だ。このように、AIと人間の双方がストレスなく大量のログを活用するには、ストレージの効率性と検索速度が不可欠となる。実際、Lumiは高いストレージ効率や検索速度を実現している。その仕組みについて質問すると、チェッター氏は「まじめに説明すると10時間かかる」と頭を抱えながらも、ログに特化した圧縮方法とインデックスで実現していると端的に回答した。ここはログのデータ形式に特化した独自技術が盛り込まれている領域となるらしい。
それにしてもだ。近年では既存スタックのまま横断検索を可能とする機能（SplunkやCrowdStrikeなら「Federated Search」、Datadogなら「Federated Log Search」など）で、課題解決を図ろうとする動きが見られる。そうしたなかImplyはデータ基盤に全振りし、UIは他社に委ねる道を選んでいる。これは相当な賭けに見える。
しかしチェッター氏はこうした動きをむしろ追い風と見ている。各社が外へ検索を広げ始めていること自体、データ層のデカップリングが必然であることを示しているからだ。Implyの方向性が正しいことを示す証拠とみることもできる。
とはいえ、決断には大きな勇気が要るはずだ。こうした大きな決断における源泉は何かと問うと、チェッター氏は「われわれは正気ではないかもしれない」と苦笑いした。そして「失敗したとしても、それで終わりではない。辞めたら終わりなのです」と言う。
これまで同氏は形を変えながらもデータ基盤に携わってきた。それぞれの事業や立場に区切りはあったかもしれないが、それは終わりではなく、技術的な発展としてのプロセスは継続していると見ることもできる。チェッター氏は好きな日本語のことわざとして「継続は力なり」を挙げた。継続してきたのはデータ基盤の開発であり、日本語についても言えるそうだ。
オブザーバビリティツールの定石となる垂直統合を疑い、BIツールがたどった歴史に学ぶ。そしてちょっと正気ではないほどの勇気を持つエンジニアたちがLumiを生んだ。オブザーバビリティの世界はこれからどう変わっていくのだろうか。
