Webエンジニアからデータエンジニアへのシフトチェンジ
それでは、個人としてWebアプリケーションエンジニアからデータエンジニアへとシフトしていったのか。まずはスキルセットについて、吉田氏は「解決したい課題に合わせて言語を選択すること」に始まるという。
「なんでもJavaでScalaで、と決まった言語でやるのがいいのかといえば、そうではありません。ExcelならVBAで統計や分析ツールとして使ったり、WindowsでPythonが使えない時はGoLangを使って小さいツールを作ってデータ転送ができるようにしたり、やりたいことに合わせて言語を変えるようにしました」
もう1つ重要と感じていることが「プロトタイプをすばやく作り、捨てやすいように作ること」だという。どうしてもKPIを設定するには時間がかかるため、早めに失敗する方がよい。そのためには、サクッと作って違ったと思えば容易に捨てられる、そんな環境を作ることが効果的だ。例えば捨てやすいようにモジュール化する設計をあらかじめ行っておくと、自分たちが設計しやすく運用しやすい。そして、早くサイクルを回すために、ワンクリックでデプロイできる環境を作っておくことも有効だ。そうした「足回り」も自分たちでやることで、変化に対応できるようになったという。
さらに、吉田氏はデータエンジニアとなったことで、当然ながら「データとの付き合い方」が変わったと語る。
「Webアプリケーションなどでは『とりあえずリリースすることが大切』とされ、フレームワークを使って仮説検証をすばやく行うことが大切でした。しかし、データはアプリケーションよりも寿命が長く、データをしっかりとモデリングし、それを用いて運用できるよう経験やスキルを積んでいくことが重要だと思います」
他にも、データとしての整合性を担保するため自分たちの作ったデータは自分たちで守る、社内のIT部門に仲間を見つけて依頼できるところはする、本を読んでおきSQLアンチパターンの事例と遭遇しても慌てないようにする、他のシステムと連携するなどを意識していくことがよいという。
またエンジニアとして新しい技術にも挑戦する必要があるが、リソースが限られる中で、必要なものだけ取捨選択することが不可欠だ。そのためには早いうちに試してみて、失敗することが必要となる。まず自分たちの業務や開発にマッチしているかを試すこと、そして課題をチーム内でシェアし、「スパイク（技術調査）」を有効活用し、成果は随時共有すると同時にだらだらと続けないよう撤退する条件をあらかじめ決めておくようにする。また、必要に応じて新しい言語を習得する場合には、もし有用な言語ならチームで教育を行って共有していくことが必要だという。
スキルを補完し合い、誰もがデータを見られるデータドリブンな組織へ
エンジニアが組織に入り、個人として力をつけ、その先に吉田氏のチームが目指すのは「データドリブンな組織への変化」だ。吉田氏はデータサイエンティスト協会が設定した「データサイエンティストに求められるスキルセット」を示し、「この3つのスキルセットをすべて持っている人が日本にどれだけいるだろうか」と問いかけた。確かに必要な知識・スキルをすべて1人で担うのはなかなかハードルが高いものがある。
そこで、吉田氏のチームはメンバー全員でカバーし合うことを選択した。データサイエンティストは統計学、機械学習、ビジネス側であれば問題解決スキルやドメイン知識、エンジニアはSQLの書き方やアジャイル開発など、それぞれをそれぞれの分野の担当者に伝播・教育する。
さらにデータの可視化が成熟していくと、データの民主化が求められる。1つ見えると、次々と見たくなるのが必然であり、それに応える必要がある。マーケティング側でその多くが実際の業務にデータを活用する必要があり、その数は多い。そこで吉田氏のチームは、もっと見たいに応えつつ、見たいものを一緒に考えるといったコンサルティングも社内に対して行った。そして、モニタリングの体制を作って仮説検証を行い、フィードバックループを回すサイクルを確立させたという。
「単なるデータクレンジングだけでなく、どんなデータがどこにあるのか、どうやったら持ってこられるのか、いわば『魚の釣り方を教える』ようなものと言えばよいでしょう。さらにプロジェクトの初期はとにかく早く見せることが第一でしたが、成熟期になるにしたがって精度や正しさを重視するようになりました」
とはいえせっかくのスピードを殺さないよう、マネージドサービスの活用、オンプレミスからクラウドへの移行、TableauなどプロプライエタリなBIツールへの移行なども考える必要があるという。そして実際に手を動かす作業が少なくなったところで、自動化、省力化を考え、さらに業務そのものを改善していくという“本来”の仕事へと取り組めるようになる。
「とはいえ、プロジェクトが長くなり最適化が進むと、自分たちが『何のためにいるのか』『なぜここにいるか』といった問いが生じることがあります。その問いに対して、プロジェクトチームのメンバー全員でインセプションデッキを活用し、改めてゴールや目的の共有を行いました。その上で、挑戦できる組織、環境、文化づくりを行っていくことが大切だと思います」
最後に吉田氏は、エンジニアがいない組織からいる組織にするためのポイントをまとめ、「今後、分析はAIがやるとされる時代が到来する。その時に限りある人・モノ・金をどのように使うのかを組織として考え、備えておくことが必要になるだろう」と述べ、「その未来に備え、エンジニアだけの問題ではなくチームや組織で一丸となって考えることができれば」と意欲を語った。
お問い合わせ
パーソルキャリア株式会社
