データドリブンからワークフロードリブンへ──要求のケタが変わる
ClickHouseでSolution Architectを務める松本幹氏はビッグデータ領域に15年以上従事し、Elastic、Workatoなどの外資系スタートアップで日本立ち上げを技術面で支えてきた。2024年からClickHouseの日本人社員第一号として日本市場の技術全般を担当している。
松本氏がいま最も伝えたいこととして挙げるのが「データ基盤こそがAIの知能を拡張する」だ。
昨今、社内データをAIで解析させることが日常的になっている。回答の質を高めたければいいモデルを利用することに目が向きがちだ。しかし、それだけでは十分ではない。データの量と質を高めることがAIの回答の質を高めることに有効に働く。松本氏は「これまでデータ基盤はデータの保存場所でしたが、AIを賢くする土台へと変わってきています」と話す。
AIがもたらすデータ基盤への要求の変化は、次の3点が挙げられる。1点目は「分析インターフェースの会話化」。自然言語からクエリを動的に生成するため（Text-to-SQL）、アクセスパターンの予測が難しくなり、静的に最適化された専用データベースでは対応しきれない。
2点目は「アプリのエージェント化」。AIエージェントは内部で数十から数百のクエリを並列実行する。これまで「誰が・いつ・どれくらいの頻度で」を事前設計していたが、予測不能となり前提が崩れる。
3点目が「オブザーバビリティのAI駆動化」。これまで運用担当者は深夜のオンコールで起こされ、眠い目をこすりながらダッシュボードやSQLで調査するところから始めていたが、これからはAIがあらかじめデータを解析し、結果とともに担当者へ引き継ぐ「AI SRE」が求められている。これは松本氏の実体験でもある。
これらはデータ基盤が「データドリブンからワークフロードリブン」へと変化していることを意味する。従来はアプリケーションエンジニア、データアナリスト、SREが用途別にサイロ化されたデータベースを使い、クエリの頻度も利用パターンもおおよそ予測可能で、応答が数秒でも許容範囲だった。これからAIエージェントが加わると、MCPを経由して1日数千件ものクエリが動的かつ並列に飛んできて、応答はミリ秒が求められる。要求が桁違いに跳ね上がる。
既存のデータベースを3つのカテゴリに分けて考える。まずMySQLやPostgreSQLなどのRDBはトランザクション処理に強いが、データ量が増える（1億〜2億行あたりから）と分析クエリが遅くなってしまう。
BigQueryやSnowflakeなどのデータウェアハウスは大規模データのバッチ分析や定期レポートに強いが、準リアルタイムが前提で同時かつ大量のクエリはさすがに厳しく、強引にやるならコストが跳ね上がる。
MongoDBやDynamoDBなどのNoSQLはレスポンスの高速さとスケールが得意だが、複雑な集計は不得意だ。松本氏は「スピード、スケール、コスト、この3つを同時に満たすデータベースというのがなかったというのが現状です」と言う。そこにAI時代の要求が乗ってきたのが現在地だ。
