データ基盤構築の実践知が大集合！ 技術選定とアーキテクチャを急成長テック企業の事例から学ぶ

　データ基盤は、企業が意思決定を迅速かつ的確に行うための重要な土台だ。適切に構築された基盤は、膨大なデータを活用可能な情報へと変換し、事業の成長や競争力の向上を支える。かつ、分析結果をもとにしたサービス改善は、ユーザーへの提供価値の最大化にもつながる。2024年11月21日に開催されたイベント「急成長テック企業4社のエンジニアが語るデータ基盤構築の裏側」では、メルペイやタイミー、ダイニー、ENECHANGEのエンジニアたちが登壇。直面した課題や基盤構築の工夫など、リアルな事例やノウハウを共有した。

分析用データ基盤を移行！ 移行先を選定する際に考えたこと

　メルペイは社内分析用データ基盤において、Apache Airflowを用いたワークフローから、Argo Workflowsとdata build tool（以下、dbt）を活用したアーキテクチャへ移行した事例について解説した。

　まず、Apache AirflowとArgo Workflowsの機能を比較した。Apache Airflowは、ワークフローをコードで定義できる点が大きな強みで、多様なタスクオペレーターをサポートしており、柔軟性が高い。ただし、スケジューリングやリソース管理に課題があった。

　一方、Argo Workflowsは、Kubernetes上で並列ジョブを管理することに特化したオープンソースのワークフローエンジンであり、Kubernetesのリソース管理を活用することでスケジューリングやスケーリングが容易。メルペイの環境により適していると評価され、Apache AirflowからArgo Workflowsへの移行が決定された。

　次に、Apache Airflowからdbtへの移行について、ワークフロー定義の観点からいくつかの評価が行われた。dbtは、データ変換とモデリングに特化しており、SQLベースでの定義を行うことから、学習が比較的容易である。一方、Apache Airflowはさまざまなシステムに対応するETLワークフローを定義できるが、Pythonの知識が要求されることに加えて、Apache Airflow固有の概念を学ぶ必要がある。

Apache Airflowとdbtの比較

　dbtはシンプルで直感的にデータパイプラインを構築できるため、移行が選ばれた。各ツールの特徴や選定基準が伝わるセッションとなった。