ClickHouseの圧倒的パフォーマンスで大規模リアルタイム分析のコストを削減！オブザーバビリティ新時代

【13-E-2】リアルタイム分析データベースで実現するSQLベースのオブザーバビリティ

　オブザーバビリティの重要性が高まる一方で、大規模データの管理コストに悩む組織が増えている。扱うデータが大きくなればなるほど、コストの関係で長期間のデータの保持が難しくなるからだ。そこで近年注目されているのが、高速かつ低コストで運用できるSQLベースのオブザーバビリティ。ClickHouseの松本幹氏は、データベースとオブザーバビリティの進化を振り返り、ClickHouseへの移行で200倍のコスト削減を実現した事例や、他のデータベースと比較したClickHouseの高い性能を紹介した。

リアルタイム分析とオブザーバビリティの進化

　松本氏はClickHouseのシニアサポートエンジニアであり、大規模検索エンジンの開発・運用を経験した後、外資系ベンダーでプロフェッショナルサービスに従事した。ClickHouseの日本人社員第1号として入社し、現在は導入支援や技術サポートを担当している。

ClickHouse Senior Support Engineer 松本 幹氏

　セッションは、リアルタイム分析データベースの進化から始まった。松本氏は、2024年のStack Overflow開発者調査を引用し、SQLが2番目に人気のあるプログラミング言語であることを紹介。SQLは約50年前にオラクル社が発表し、その25年後にOLAP（オンライン分析処理）技術が登場。Oracle Hyperion EssbaseやMicrosoft SSASといったBI向け高速解析ツールが開発されたが、高価で利用が限られていた。

　約10年前にはSnowflakeをはじめとするクラウドデータウェアハウスが登場し、データ解析の民主化が進んだ。しかし、データ量の増加によるコストの高騰やリアルタイム処理の難しさが課題となり、リアルタイムOLAPへの需要が高まった。こうした背景から、ClickHouseをはじめとするオープンソースOLAP製品が注目されている。

　オブザーバビリティの概念もSQLと同様に約50年前に登場したものだ。約25年前にはUNIXやLinux環境でSyslogが導入され、サーバーログの統合が進んだ。約10年前にはElastic Stackをはじめとするログ管理ツールが普及し、リアルタイムのシステム監視が可能になった。現在ではDatadogやSplunkなどのSaaS型ツールが広く利用され、システム運用の中心を担っている。

　しかし、オブザーバビリティツールはデータ量の増加に伴い、他の製品へ移行しにくいベンダーロックインの問題を抱えている。この課題に対応するため、オープンソースによる標準化の動きが進んでおり、その代表例がOpenTelemetryだ。Linux Foundationの主要プロジェクトとして、標準的なテレメトリーデータの収集・管理を実現。さらに、可視化ツールとしてGrafanaが広く活用され、オープンソースを活用した柔軟な運用が進んでいる。

　松本氏は「SQLベースのオブザーバビリティが近年注目を集めている」と語る。その背景には、大量データの管理という課題がある。オブザーバビリティでは長期間データを保持したいニーズがあるが、コストやパフォーマンスの制約により、実際には1カ月、短い場合は1週間程度しか保存できないことが多い。

安価で高性能な長期保存の仕組みとして注目されるSQLベースのオブザーバビリティ

　SQLベースのオブザーバビリティは、大規模データを扱う企業にとって有利な選択肢となる。この手法ではコストを10分の1から20分の1に抑えられるため、移行が加速しているという。