企業のデータ分析基盤が成長するときは「成長痛」が発生する
小林氏はまず、「データ分析基盤の成長痛」がどのようなものかについて、primeNumber社内のデータ分析基盤の成長過程を例に挙げて説明した。
最初の1年目、0→1のフェーズではとにかく速く構築することを求められ、全速力で立ち上げた。しかし1年後には、1→10フェーズを迎え、分析のテーブル数が900を超えた。一つひとつのテーブルのデータを手作業で集めることなど到底できない。そこで自動化が求められるようになった。そして直近では、テーブル数が4500にも及び、データ分析のユーザーの数も50を超えるようになってきた。品質の悪いデータから意思決定をしてしまうと、誤った結果を招いてしまう。
そこで、データの品質を担保し、多くのユーザーに使ってもらえるようにデータを民主化していくことが必要になってきた。
社内のデータ分析基盤の成長過程を振り返って、小林氏は成長過程においてはそれぞれ「成長痛」というものがあったと感想を漏らした。primeNumberの場合、構築スピード、自動化、データ品質と民主化が成長痛になるだろう。
クラシコムは2006年創業の企業で「北欧、暮らしの道具店」というECサイトを運営している。クラシコムではアパレルやインテリア雑貨、食器などの商品を販売するだけでなく、読み物や音声コンテンツ、ドラマ、映画などを制作し、配信している。さらに、企業のブランディングを支援する事業も手掛けている。
高尾氏がクラシコムに入社した2019年に、社内の有志で勉強するところからデータ分析の取り組みが始まった。「当時は、MySQL上にデータがあり、それをRedashで可視化するほか、行動ログはGoogle Analyticsのコンソールで、別の環境で見るという状況でした」と高尾氏は振り返る。
当時は、データ分析基盤と呼べるほどのものはほとんど無く、スプレッドシートをデータマートのように使っていたという。このような運用に限界を感じ、BigQueryやLookerを導入した。これで、日々のデータの推移を見るなどの基本的なことは便利にできるようになってきた。すると、複数のデータ・ソースを使いたいと考え始め、primeNumberが提供するデータ分析基盤の総合支援サービス「trocco」を導入した。そしてLookerで使用する言語であるLookML（Looker Modeling Language）の使い方が複雑になってきたことが課題としてだんだんと顕在化したため、troccoのdbt（Data Build Tool）連携機能を使い始めた。
