すべてのデータを1カ所に集約するとともに、安定したデータ連携の基盤を構築
モノタロウは、BtoBの間接資材販売ECサイト。間接資材とは、工具やネジなどの消耗品、事務用品、科学用品、カー用品など、原材料以外の物品だ。従来、間接資材の取引はメーカーや問屋に問い合わせして見積、価格交渉、発注、納品といったプロセスで行われてきた。モノタロウの場合はECサイトを通じて価格交渉なしですぐ商品を届けられるため、これまでかかっていた購買に関わるコスト削減が実現できた。
徹底したデータマーケティングで成長してきたモノタロウ。現在取り扱う商品のSKU（Stock Keeping Unit、受発注・在庫管理のための最小の管理単位）は1800万と膨大だ。毎年20％成長を続けていると、3.5年後には売り上げやトランザクションは2倍になる。
「データを活用して顧客接点を最適化していくのがモノタロウのデータマーケティングです。おすすめ商品や特価・クーポンなども個別最適化をしています。たとえば、手袋で検索した場合、医療関係者と製造業では違う検索順位で商品が並びます。しかし、1800万SKUのアイテムを手動でチューニングしていくのは不可能です。このため、エンジニアリングによって自動化しながら進化する仕組みが重要となります」と普川氏は話す。
デジタルマーケティングをさらに促進するには、それを支えるデータ基盤の整備が重要である。2017年当時、同社のデータ基盤には、「データの保存場所が分散していて移動が困難」「オンプレミスのデータ基盤向けのサーバースペックが不足」「分析に必要なデータがそろわない」などの問題点が挙がっていた。
普川氏は「データが集約されており、スケールできて、使いやすく、管理しやすく、コストも安いデータ基盤の需要が出てきたので再構築しました。結果からお話しすると、扱えるデータ量は100テーブルから1000テーブルと10倍に、作成されたレポート数も30から300と10倍、SQL を業務に利用する人数は10名から50名へ5倍と大きく増加しました」と語る。
必要なデータはすべてBigQueryに集約して活用されるようになった。ユーザーの行動データはGoogle Analyticsから、WebサーバーやアプリケーションのデータはFluentdやAmazon Kinesisから、OracleやMySQLのデータもすべてBigQueryに集められ、データを保存するとともに、データを加工してデータウェアハウスとしても使われるようにしている。
これにより「BigQueryにあるデータを参照して機械学習の処理をする」「さまざまなダッシュボードを作る」「加工したデータをECサイトの検索用インデックスデータの最適化に活用する」などが可能となった。
普川氏は続いて、新しいデータ基盤が活用されるようになったポイントとして、CDC（Change Data Capture）による安定したデータ連携を挙げた。データの変更情報のみを取得して処理を行うCDCにて擬似的にSlaveDBを作成し、MasterDBに負荷をかけず安定してデータを連携できるようになっている。
CDCは、メインとなる基幹のDB（MySQL）のBinLog Connectorを利用して行われている。BinLog Connectorというプロセスが変更情報のバイナリデータを監視し、変更があるとCloud Pub/Subに通知してProcesserという別のプロセスに渡され、BigQueryのデータとして格納される。変更からBigQuery到達まで1分程度だという。
SQLを業務に利用する人が5倍に増えた理由は、非エンジニアの業務担当者によるSQLデータ分析が浸透したためだ。「従来は業務担当者が分析担当者に依頼すると1日～1週間かかっていました。もともとデータ分析を行う社風のため、業務担当者自身が的確な分析をしたいニーズがあったのです。SQLの学習は、定期的な研修やSlackでQ＆Aを行うなどして浸透しました」と普川氏。
データ基盤が整備されることで、データサイエンティストが生成したパーソナライズデータをECのアプリケーションで容易に利用可能になった。普川氏は「より高度な顧客接点での最適化につなげるべく、ECアプリケーション側の抜本的な改革の機運が高まっています」と、新基盤でのECシステム刷新に奮闘している藤本氏の登壇を促した。
