リアルタイム分析とオブザーバビリティの進化
松本氏はClickHouseのシニアサポートエンジニアであり、大規模検索エンジンの開発・運用を経験した後、外資系ベンダーでプロフェッショナルサービスに従事した。ClickHouseの日本人社員第1号として入社し、現在は導入支援や技術サポートを担当している。
セッションは、リアルタイム分析データベースの進化から始まった。松本氏は、2024年のStack Overflow開発者調査を引用し、SQLが2番目に人気のあるプログラミング言語であることを紹介。SQLは約50年前にオラクル社が発表し、その25年後にOLAP（オンライン分析処理）技術が登場。Oracle Hyperion EssbaseやMicrosoft SSASといったBI向け高速解析ツールが開発されたが、高価で利用が限られていた。
約10年前にはSnowflakeをはじめとするクラウドデータウェアハウスが登場し、データ解析の民主化が進んだ。しかし、データ量の増加によるコストの高騰やリアルタイム処理の難しさが課題となり、リアルタイムOLAPへの需要が高まった。こうした背景から、ClickHouseをはじめとするオープンソースOLAP製品が注目されている。
オブザーバビリティの概念もSQLと同様に約50年前に登場したものだ。約25年前にはUNIXやLinux環境でSyslogが導入され、サーバーログの統合が進んだ。約10年前にはElastic Stackをはじめとするログ管理ツールが普及し、リアルタイムのシステム監視が可能になった。現在ではDatadogやSplunkなどのSaaS型ツールが広く利用され、システム運用の中心を担っている。
しかし、オブザーバビリティツールはデータ量の増加に伴い、他の製品へ移行しにくいベンダーロックインの問題を抱えている。この課題に対応するため、オープンソースによる標準化の動きが進んでおり、その代表例がOpenTelemetryだ。Linux Foundationの主要プロジェクトとして、標準的なテレメトリーデータの収集・管理を実現。さらに、可視化ツールとしてGrafanaが広く活用され、オープンソースを活用した柔軟な運用が進んでいる。
松本氏は「SQLベースのオブザーバビリティが近年注目を集めている」と語る。その背景には、大量データの管理という課題がある。オブザーバビリティでは長期間データを保持したいニーズがあるが、コストやパフォーマンスの制約により、実際には1カ月、短い場合は1週間程度しか保存できないことが多い。
SQLベースのオブザーバビリティは、大規模データを扱う企業にとって有利な選択肢となる。この手法ではコストを10分の1から20分の1に抑えられるため、移行が加速しているという。
