BIツールで起きたことは、オブザーバビリティツールでも必ず起きる
チェッター氏はテキサス大学でコンピューターサイエンスと日本語を学んだ後、東京大学大学院に進学し、マルチエージェントシステムやAI、ソフトウェア工学を専攻して修士号を取得した。人とエージェントが協調して動く仕組みを研究した経験は、現在のAIエージェントへの視点につながっている。
修士課程修了後はLinkedInやYahoo!などで大規模データを扱い、Metamarkets社ではオンライン広告システムに携わる。1日あたり数十億件規模の広告オークションを扱うにはスケールすることが必要になり、リアルタイム分析データベースApache Druidを共同開発した。その後Splunk Fellowなどを経て、Metamarkets時代の仲間とImply Data（以下、Imply）を創業。流ちょうな日本語を話し、「行間を読むのが得意」と言うほど。ImplyではField CTOの肩書もあり、多くの現場に出向き、それぞれが抱える本質的な課題を見抜いて解決している。
チェッター氏によると、かつてBI（ビジネスインテリジェンス）ツールは垂直統合型だったものの、時間を経て自然に3つの層にデカップリング（分離）したという。当初は「SAP BusinessObjects」や「IBM Cognos」などがあり、ベンダーごとにデータの取り込みから保存、分析、レポーティングまでを一体型で提供していた。現在のオブザーバビリティツールの垂直統合と似た構図だ。
現在BIツールは、「（1）データの収集・統合層」「（2）ストレージ＆コンピュート層」「（3）可視化・分析層」の3層に分かれている。（1）はFivetranなどのETL/ELTツールにあたる。（2）がデータ処理の中核にあたり、「Amazon Redshift」やGoogleの「BigQuery」がクラウド型データウェアハウスを開拓し、「Snowflake」がストレージとコンピュートの分離で市場を刷新した。さらに「Databricks」が「レイクハウス」という新しいアプローチを持ち込んだ。（3）は多くのユーザーがデータに触れる部分で、「Tableau」「Looker」「Microsoft Power BI」などが代表的だ。
かつての一体型では、データ量が増えると全体を一元的にスケールさせるしかなく、コストが膨らむ要因となっていた。ベンダーロックインも問題視されていたところ、3層に分離することでそれぞれ最良のものを選択できるようにデカップリングが進み、現在のような形に着地した。
翻って、現在のオブザーバビリティツールは、まだBIツールのようにデカップリングが進んでいない。収集や可視化などで分離の動きはあるものの、データ層は依然として一体化したままで、複数ツールが同じデータを横断的に扱うのは難しい構造となっている。チェッター氏は「BIツールで起きた分離の進化は、オブザーバビリティツールでも必ず起きる」と見ており、その思想を形にしたのがImplyが提供する「Lumi」だ。かつて共同開発したApache Druidの分散処理技術を活かしつつ、ログに特化した最適化や圧縮技術を掛け合わせて、新しいデータ基盤として再設計した。
この、データ層のデカップリングがもたらす意味は、BIにおけるSnowflakeと、「Splunk」などのオブザーバビリティツールを対比するとイメージしやすい。チェッター氏によれば、オブザーバビリティ分野のデータ層を担うツールであるSplunkは、Snowflakeのように上下のレイヤー（収集やUI）が自由に開放されているわけではないという。Splunkを利用する場合、データ収集には「Splunk Forwarder」や「HEC（HTTP Event Collector）」を使い、UI・検索には独自言語の「SPL」を使うことが前提となる。そのため、例えばDatabricksからSplunk内の同じデータを直接参照することは難しい。
だからこそチェッター氏は、収集ツールもUI・検索ツールもユーザーが自由に選べる、ログ特化型のデータ基盤「Lumi」の開発に至った。特定のベンダーエコシステムに縛られる垂直統合から、データ基盤層がさまざまなツールと自由につながる水平統合へ。一気通貫の軸が垂直から水平へとがらりと変わる。
同氏はSplunkを「（ガソリンで動く）高級車」に例える。長年多くの顧客に愛され、実績も申し分ない。一方、「Lumiは新しいアーキテクチャーを持ち込み、根本から考え直されている電気自動車のようなもの」と説明する。
