データサイエンティストがビジネスの世界で求められる理由
では、どうすればデータサイエンティストになれるのか。
「サイエンスとは、実世界の観測（データ）を使い、仮説を検証する手法。つまりデータに価値を与えるプロセスだ」とシバタ氏は語る。具体的には次のようなことを行う。
- 仮説を提唱し、それが真であるときに表れる現象を導き出す。
- 仮説を検証するのに有効な観測（データ）を取得・処理する。
- データと仮説が矛盾していないかどうかを検証する。
- 検証結果の信頼性と限界を把握する。
- 実験の検証範囲内で実世界への洞察（インサイト）を導き出す。
- 検証結果、インサイトを論文やモデルの形で公開する。
そしてこれらのことを「あくまでも中立的な立場から繰り返し行い、新しいインサイトを見つけていく仕事が、サイエンティストだ」とシバタ氏は言うのである。
このような人材がビジネスで求められている理由について「世界はより深いインサイトを求めているため」と述べる。しかしながらサイエンティストは現実世界への応用は苦手で、「世の中で使えるシステムをつくるには、ほど遠い存在だ」とシバタ氏は言う。しかもデータサイエンティストがやっていることは複雑で理解されにくい上、AIやディープラーニング、機械学習など、使っている言葉もわかりにくい。
ではこれらの技術を使うと何ができるようになるのか。現在、データとBIで過去が理解できるようになっている。しかしAIを使うと、「未来を理解できるようになる」とシバタ氏。中でもAIの代表的な技術の一つにある機械学習を使うと、「予測のためのモデルをつくることができる」と言う。
この予測モデルを生成するには、次の様なステップをたどる。まずはデータ準備（データクリーニングや合成変数の生成、サンプルの分割）を行い、次にモデルを生成（アルゴリズムの作成、ハイパーパラメーター、チューニング、モデル選択）する。生成できれば終わりではない。第三ステップはモデルの解釈。つまりモデルの精度や特徴を可視化し、事業担当者に説明してモデルを理解してもらうことだ。最終ステップはビジネスへの適用。アプリケーションエンジニアが実運用化し、ビジネスサイドが事業に導入するのである。「経験のあるデータサイエンティストでも、各ステップに何か月もかかり、完了時にはモデルが陳腐化していることもあった」とシバタ氏は説明する。
