データドリブンからワークフロードリブンへ──要求のケタが変わる
ClickHouseでSolution Architectを務める松本幹氏はビッグデータ領域に15年以上従事し、Elastic、Workatoなどの外資系スタートアップで日本立ち上げを技術面で支えてきた。2024年からClickHouseの日本人社員第一号として日本市場の技術全般を担当している。
松本氏がいま最も伝えたいこととして挙げるのが「データ基盤こそがAIの知能を拡張する」だ。
昨今、社内データをAIで解析させることが日常的になっている。回答の質を高めたければいいモデルを利用することに目が向きがちだ。しかし、それだけでは十分ではない。データの量と質を高めることがAIの回答の質を高めることに有効に働く。松本氏は「これまでデータ基盤はデータの保存場所でしたが、AIを賢くする土台へと変わってきています」と話す。
AIがもたらすデータ基盤への要求の変化は、次の3点が挙げられる。1点目は「分析インターフェースの会話化」。自然言語からクエリを動的に生成するため（Text-to-SQL）、アクセスパターンの予測が難しくなり、静的に最適化された専用データベースでは対応しきれない。
2点目は「アプリのエージェント化」。AIエージェントは内部で数十から数百のクエリを並列実行する。これまで「誰が・いつ・どれくらいの頻度で」を事前設計していたが、予測不能となり前提が崩れる。
3点目が「オブザーバビリティのAI駆動化」。これまで運用担当者は深夜のオンコールで起こされ、眠い目をこすりながらダッシュボードやSQLで調査するところから始めていたが、これからはAIがあらかじめデータを解析し、結果とともに担当者へ引き継ぐ「AI SRE」が求められている。これは松本氏の実体験でもある。
これらはデータ基盤が「データドリブンからワークフロードリブン」へと変化していることを意味する。従来はアプリケーションエンジニア、データアナリスト、SREが用途別にサイロ化されたデータベースを使い、クエリの頻度も利用パターンもおおよそ予測可能で、応答が数秒でも許容範囲だった。これからAIエージェントが加わると、MCPを経由して1日数千件ものクエリが動的かつ並列に飛んできて、応答はミリ秒が求められる。要求が桁違いに跳ね上がる。
既存のデータベースを3つのカテゴリに分けて考える。まずMySQLやPostgreSQLなどのRDBはトランザクション処理に強いが、データ量が増える（1億〜2億行あたりから）と分析クエリが遅くなってしまう。
BigQueryやSnowflakeなどのデータウェアハウスは大規模データのバッチ分析や定期レポートに強いが、準リアルタイムが前提で同時かつ大量のクエリはさすがに厳しく、強引にやるならコストが跳ね上がる。
MongoDBやDynamoDBなどのNoSQLはレスポンスの高速さとスケールが得意だが、複雑な集計は不得意だ。松本氏は「スピード、スケール、コスト、この3つを同時に満たすデータベースというのがなかったというのが現状です」と言う。そこにAI時代の要求が乗ってきたのが現在地だ。
速さの哲学は不必要なデータを読まないこと──徹底的なチューニングの中身
いま求められるスピード、スケール、コストを満たせるとして、松本氏が挙げるのが「ClickHouse」だ。オープンソースのカラム型OLAPデータベースで、膨大なデータを超高速で分析できるように設計されている。特徴はSQLが使えてあらゆるワークロードに対応できること、PB級でもミリ秒で応答できること、数十倍ものデータ圧縮率でコストを削減できることの3点が挙げられる。
なかでも松本氏が強調するのがSQLをインターフェースに持つことだ。これはAI時代の現在でも有利に働くという。松本氏は「SQLは開発が始まってから50年経っています。学習データが豊富なので、生成AIがSQLを作る精度が非常に高い。インターフェースがSQLというのは、非常にAIの時代にマッチしていると言えます」と説明する。
簡単に歴史を振り返ると、ClickHouseは2009年にプロトタイプが誕生し、2016年にオープンソース化。2021年に米国でClickHouse社が設立され、2022年からマネージドサービスのClickHouse Cloudを提供。日本では2024年にAWSの東京リージョン、2025年にGoogle Cloudの東京リージョンが開設済みだ。
DB-Enginesの分析系OSSデータベースランキングで1位、GitHubスターは4万8400以上、ClickHouse Cloud利用企業は4000社を超える。1年前に2000社、3か月前に3000社だったので、いま急速に普及しているところだ。
ClickHouseを使うとしたら、選択肢はOSS版とマネージドサービスのClickHouse Cloud（Cloud版）がある。PB規模をミリ秒で処理し、高QPSの同時実行と高圧縮を備え、SQLでシンプルに扱えるというOSS版の強みはそのままに、Cloud版ではクラウドネイティブなアーキテクチャが加わる。コンピュートとストレージを分離することでリニアにスケールし、ワークロードに応じて即時にスケールアップ・ダウンできる。マルチゾーン構成で可用性を確保しつつ、使わないときはコンピュートをゼロにするScale-to-Zeroでコストを最適化できる。
エンジニアとして最も興味があるのは「なぜ速いのか」ではないだろうか。松本氏は「徹底的にチューニングしています」と言う。仕掛けは4つある。
1点目はカラム型ストレージ。列単位でデータを保持するため、クエリに必要な列だけを読むことでI/Oを劇的に減らしている。同じ種類のデータが並ぶため圧縮も効き、オブザーバビリティ用途なら元データの10分の1から20分の1になる。
2点目は大容量インサートと参照クエリが競合しない設計。INSERTはPartsと呼ばれる小さなイミュータブルな単位を作るだけとして、SELECTはその時点のPartsを読むだけなので、ロック競合なしで読み書きを並行できる。
3点目はマルチスレッド×分散並列スキャンで、1つのクエリを複数のサーバーに分割し、さらに各サーバーのCPUコアへ分散する。
4点目はSIMDベクトル化とJITコンパイル。1クロックで複数データを同時処理するCPU命令を最大限使い、クエリをネイティブコードに変換する。ストレージからCPU命令まで全レイヤーで「読まない・無駄にしない」を徹底しているのが速さの正体だ。
ClickHouseが自社で、分析クエリの処理効率を速度とコストの2軸で検証したところ、主要な データプラットフォームに対して23倍から101倍のコスト効率の差が出たという。検証はCostBenchの43クエリによるもので、テストセットやクエリ、各社の課金モデルを含む算出方法は同社のブログで公開されている。
Agentic Data Stack──AIが使うための統合スタック
ClickHouseは現在、単体のデータベースにとどまらずOSSエコシステムとして拡大している。AIチャットのLibreChat、LLMオブザーバビリティのLangfuse、オブザーバビリティのHyperDX、データ同期（CDC）のPeerDB、組み込み（インプロセス）版のchDBを傘下に持ち、これらを組み合わせた全体像が「Agentic Data Stack」だ。
中央にClickHouseを置き、基幹系のPostgresとはCDCでリアルタイム同期、外部データはマネージドパイプラインのClickPipesで取り込む。その上にUI層としてClickHouse Agent、ClickStack、Langfuseが乗り、LLMと直接連携する。
ClickHouse Agentは、ClickHouseに格納したデータを自然言語で分析できるAIチャットプラットフォームだ。データの可視化に加えてエージェントやSkillの作成に対応し、DBへの接続はMCP経由となる。特筆すべきはガバナンスで、ClickHouseで管理するユーザー権限に基づき、閲覧してよいデータの範囲でのみ解析できる。松本氏は無料アカウントの作成から「基地局のデータを可視化してください」という指示でダッシュボードが生成されるまでを「全部合わせて5分もあれば終わってしまいます」とデモを交えて紹介した。
ClickStackはAI SREを実現するオブザーバビリティツールで、ClickHouseに格納したOpenTelemetryデータをダッシュボードで可視化する。高圧縮ストレージによりサンプリングせず、全量ログを低コストで長期保存できる。AI駆動のインシデント調査ワークスペース「AI Notebooks」を使えば、AIがログ検索から根本原因の分析までを実施した結果を返してくる。モニタリングのためのダッシュボード作成を指示すれば、再発検知のアラートとともにダッシュボードが自動生成される。
Langfuseは生成AIエージェントの開発・本番運用を支えるLLMOpsプラットフォームで、APIコストや応答時間、会話履歴の一元管理、プロンプトのバージョン管理と評価、テストデータセットによる回帰テストを提供する。
導入実績も豊富だ。Netflixは4万以上のマイクロサービスが生成するログを1日5PB、秒間1250万件で取り込み、500〜1000QPSをミリ秒で処理する（参考：ブログ記事）。クエリの最適化で処理性能が4.3倍向上した。eBayはDruidから移行し、分あたり10億件以上をインジェストしながら30倍の圧縮と90％のコスト削減を実現した。
そしてAnthropicでは、オブザーバビリティとモデル開発の分析基盤として、Claude 4の開発にも利用した（参考：ブログ記事）。松本氏は「Anthropicの社員の方が『これを処理できるデータ基盤って何かありますか』とClaudeに聞いたら、Claudeが『あなたはClickHouseを使うべきだ』と提案した」と採用に至る経緯を明かした。
ClickHouse自身も「AIネイティブなデータ基盤」を構築している。40以上のデータソースを集約し、データ量は14兆行以上、10PB超。BIツールからAIチャットUIへ主軸を移し、社員の50％以上が月間アクティブユーザーとしてデータに触れている。背後ではAirflowがデータをS3経由でClickHouseに取り込み、dbtが変換とマート整備を担う。dbtに記述したテーブルやカラムの定義がそのまま辞書・セマンティックデータとなり、エージェントの探索精度を高める。
さらに質問に対してソースが足りなければDWHに組み込み、辞書や結合関係を「Skill」としてパッケージし、Langfuseで実行内容を観測して知見をフィードバックする循環を回す。回すほど基盤が賢くなる。目指すのは「誰が質問しても、信頼できる回答が得られる」状態だ。
まとめとして松本氏は、データ基盤の役割が「保存」から「AIを賢くする土台」へ進化していることをあらためて強調した。サイロ化されたデータはAIのワークフローを止めてしまうため、統合された基盤の整備が必要になる。そのうえで「スピード・スケール・コストのすべてを備えたClickHouseが、AIの知能を最大限に引き出す」というメッセージでセッションを締めくくった。
ClickHouseからのお知らせ
本セッションでご紹介したサービスにご興味を持たれた方は、ぜひ公式サイトをご覧ください。
