ビッグデータ活用を阻む課題
今、多くの企業がビッグデータ活用の取り組みを始めています。クラウド、IoT、AIなどの技術の進化が後押しし、現在では先行していた金融、製造、流通に限らず、多種多様な業種で事例が増えています。
一方で、「どこから始めたらよいかわからない」「始めてみたものの中途で挫折した」といった声もたくさん挙がっています。また、これまでの取り組みは「データをどこへ、どのように収集するか」に主眼を置くものがほとんどで、「これまでにはない洞察（インサイト）をいち早く得て、新しい価値・ビジネスの創造につなげていく」という、ビッグデータ活用の本来の目的が後回しになっているようです。
データを活用してビジネスを変革へと導いていく過程では、Chief Data Officer（CDO）という新しい責任者の下、データ活用に関わる4つの専門職（データエンジニア、データサイエンティスト、ビジネスアナリスト、アプリケーション開発者）がコラボレーション（連携・協働）して、ビッグデータ活用のサイクルを迅速に回していくことが求められます。
ビジネスアナリスト、アプリケーション開発者）のコラボレーションが必要（資料提供：日本IBM）
ところが、以下に紹介する2つの課題がそれを阻みます。
データ分析基盤の構築が難しい
ビッグデータの活用は一度で終わるわけではありません。データを収集し、必要なデータを抽出して、分析した結果を活用するという作業を何度も行うことになります。そのつど抽出するデータや分析方法、用途が異なるはずであり、作業の内容も毎回同じにはならないでしょう。さらに、必要と思われたときに迅速に実施できなければ、活用の機会を逸し、作業自体が無駄になってしまいます。
ビッグデータ活用を迅速に、かつ意図したとおりに継続して実施するためには、データの収集、抽出、分析などの作業の自動化やカスタマイズを簡易化できるデータ分析基盤の構築が必要です。当然ながら、絶え間なく増え続けるビッグデータの分析基盤を、全てオンプレミスで構築するには大変なコスト・手間がかかります。クラウドが提供するビッグデータ関連サービスを利用するにしても、ある程度のコスト・手間は必要です。
また、ビッグデータ活用では、分析処理の分散コンピューティング基盤であるApache Hadoop（以下、Hadoop）やApache Spark（以下、Spark）、データ分析で使用されることの多いRやPythonといったプログラミング言語など、さまざまなオープンソースソフトウェア（以下、OSS）を利用するのが一般的です。
つまり、ビッグデータ活用を始めるには、OSSを使ってクラウド上でデータ分析基盤を構築し、それを使いこなすための知見やスキルが必要なのです。そのため、OSS自体は無償ですが、構築・運用管理にはそれなりのコスト・手間がやはりかかります。
職務ごとに環境が分断されてコラボレーションができない
ビッグデータ推進の課題の一つとして、データサイエンティストの不足が挙げられます。データサイエンティストとは、統計学、コンピュータ科学、情報処理の知識をもち、さらにビジネスの課題を的確に理解して、どのようなデータが必要であり、どのように分析するかを判断し、分析モデルを作成する専門職のことです。世界規模での不足が問題視されており、その育成が急務とされています。
では、データサイエンティストを確保すればよいのかというと、それだけでは済みません。ビッグデータ活用を実施するには、データサイエンティストのほか、データエンジニア、ビジネスアナリスト、アプリケーション開発者という、データ活用に関わる4つの専門職がコラボレーションする必要があります。しかし、現実にはデータ分析基盤の構築が難しい上、組織・体制の問題、ガバナンスの不足など、職務ごとに分断された環境での作業を強いられる状況が散見されます。これでは、迅速かつ継続的なビッグデータ活用は見込めず、十分な成果を挙げることはできません。
このようなビッグデータ活用に伴う高い障壁・課題のクリアを支援するため、IBMは、ビッグデータ活用を手軽に、そして継続的に実施可能なクラウドベースのデータ分析基盤として「IBM Watson Data Platform」（以下、Watson Data Platform）の提供を開始しました。次ページからは、Watson Data Platformで何が実現されるのか、どう使うのかについて説明していきます。
Watson Data Platformを試したい・詳しく知りたい方は
Watson Data Platformを試したい・詳しく知りたい方は
本稿で紹介しているData Science Experienceとそのデータ分析サンプルをはじめ、Watson Data Platformが提供する各種ツール・サンプルを、下記のWebサイトで皆さんにもお試しいただけます。詳細な資料なども配付していますので、ぜひご覧ください！
迅速かつ継続的なビッグデータ活用を実現する「Watson Data Platform」
Watson Data Platformは、データ活用に関わる4つの専門職（データエンジニア、データサイエンティスト、ビジネスアナリスト、アプリケーション開発者）のコラボレーションを可能にするデータ分析基盤です。最新のツールを活用して必要なデータへのアクセス、分析モデルの開発・改善、分析結果の展開といったサイクルを迅速に繰り返すことができます。
ビジネスアナリスト、アプリケーション開発者）のコラボレーションを実現する
また、Watson Data Platformは、4つの専門職それぞれに適したツールを提供しています。各ツールを介して4つの専門職がコラボレーションすることにより、必要なときに必要なデータにアクセスし、分析、結果の出力、アプリケーションへの活用といった分析サイクルを迅速に実施できるようになります。
Watson Data Platformが提供する、4つの専門職それぞれに適したツールは次のとおりです。
- データサイエンティスト向け「Data Science Experience」
- 分析モデルの作成、顧客のセグメンテーションなどを行うためのツールです。データや知識の共有とコラボレーションを可能にします。また、機械学習などを取り入れた分析モデルを作成できます。
- データエンジニア向け「Bluemix Data Connect」
- 必要なデータを準備するためのツールです。クラウドやオンプレミスなどさまざまなデータソースからデータを取り込み、分析に必要な形式に変換するといった作業を実施できます。
- ビジネスアナリスト向け「Watson Analytics」
- データの分析結果を視覚化することでパターンや傾向を明確にし、課題の要因やビジネスへの影響度などを導出するためのツールです。ワンクリック分析、自動化された予測分析、自然言語対応、ダッシュボードの作成など、分析を簡易化するための機能を豊富に備えています。
- アプリケーション開発者向け「Bluemix」
- データとモデルをつなぐアプリケーションの構築を可能にします。
OSSをすぐに利用できる
Watson Data Platformは、IBMが提供するPaaS「IBM Bluemix」（以下、Bluemix）をベースとしています。そのため、分析基盤として利用するSpark、Hadoop、RやPythonなどのプログラミング言語をはじめ、Bluemixがサービスとして提供しているOSSを簡単に組み込み、利用することができます。煩雑な準備は不要です。
無償で手軽にビッグデータ活用を始められる
Watson Data Platformを構成するツールは、30日間無償で利用できる試用版が提供されています。また、各ツールで利用するBluemixのサービスには無償利用枠が設定されているものがあるため、その範囲内であれば30日間が過ぎても無償で利用できます。たとえば、Sparkであれば2エクゼキュータ―（分散処理を実行するプロセス）まで、データを格納するObject Storageは5GBまで無償です。
Watson Data Platformを試したい・詳しく知りたい方は
本稿で紹介しているData Science Experienceとそのデータ分析サンプルをはじめ、Watson Data Platformが提供する各種ツール・サンプルを、下記のWebサイトで皆さんにもお試しいただけます。詳細な資料なども配付していますので、ぜひご覧ください！
Data Science Experienceでデータの取り込み・分析にチャレンジ！
では、Data Science Experienceを試してみましょう。ここではデータも用意された既存のサンプルを使用して、データを取り込んだり、それをグラフ表示させたりしてみます。
Data Science Experienceに登録する
最初にData Science Experienceのサイトから利用登録を行います。［Sign Up For a Free Trial］ボタンをクリックしてください。
Data Science ExperienceはBluemixを利用しているため、試すにはBluemixのアカウントが必要です。アカウントがなければ「Email」にメールアドレスを入力し、［Continue］ボタンをクリックして作成します。表示されたページに必要事項を入力すると、確認コード（Confirmation code）が送られてくるので、これを入力して［Create Account］ボタンをクリックすると、アカウントが作成されます。
アカウントがある場合は、［Continue with your Bluemix Credentials］をクリックしてBluemixにサインインします。すると、Data Science Experienceを利用するための準備処理が行われます（数分かかります）。「Done！」と表示され、［Get Started］ボタンをクリックすると、Data Science Experienceのトップ画面が表示されます。
Jupyter Notebookを使ってサンプルを実行する
「Jupyter Notebook」は、Data Science Experienceで利用するプログラミングツールです。IPythonをベースにしており、Webブラウザ上でコードの実行、コメントの記述、グラフの描画を実行できます。Data Science Experienceで使用できるプログラミング言語には、Pythonのほか、ScalaとRがあります。
Data Science Experienceのトップ画面をスクロールしてNotebookを表示し、「Analyze open data sets with pandas DataFrames」をクリックします。これは、Pythonのデータ解析支援機能ライブラリである「pandas」を使って、オープンデータの取り込みや分析を行うサンプルです。
Notebookが表示されたら、右上にある［Copy］アイコンをクリックしてコピーします。
［Create Notebook］をクリックし、自分のプロジェクトにNotebookを作成します。
Watson Data Platformを試したい・詳しく知りたい方は
本稿で紹介しているData Science Experienceとそのデータ分析サンプルをはじめ、Watson Data Platformが提供する各種ツール・サンプルを、下記のWebサイトで皆さんにもお試しいただけます。詳細な資料なども配付していますので、ぜひご覧ください！
Data Science Experienceでデータの取り込み・分析にチャレンジ！（続き）
Jupyter Notebookを使ってサンプルを実行する（続き）
Notebookが表示されたら、「1. Load data into DataFrames」の「A. Load the first data set」項番Aのリンク、「Life expectancy at birth by country in total years」をクリックします。これは、このサンプルで使用するデータ（国別の平均寿命）です。右上の［Link］アイコンをクリックすると、データのアクセス先のURLが表示されるので、これをコピーしておき、［Close］をクリックします。
Notebookに戻り、「A. Load the first data set」の下にあるコードセルをクリックします。Notebookでは、コードセルにコードを入力し、実行します。コードセル以外の部分はコメントとして扱われます。
1番目のコードセルには、リンク先のデータからデータを5件取り込むコードが記述されています。3行目にある「LINK-TO-DATA」を、コピーしておいたURLに入れ替えます。
Notebookの上部にある［Run Cell, Select Below］アイコンをクリックすると、5件のデータが取り込まれて表示されます。Notebookでは、このようにコードの実行結果をステップごとにその場で確認することで、分析作業を効率よく繰り返すことができます。
その他のコードセルも実行してみましょう。「D. Add more data」でデータを追加し、その下のコードセルで「LINK-TO-DATA」をURLに入れ替えてください。
取り込んだデータをグラフとして表示することもできます。
Notebookでは、他のユーザーとの共有（右上の［Share］アイコン）、スケジュールの設定（［Schedule］アイコン）など、プロジェクトでのコラボレーションを支援する操作も可能になっています。
おわりに――Watson Data Platformをもっと体験してみよう！
Watson Data Platformの各ツールは、Watson Data PlatformのWebサイトから試すことができます。詳細な資料をダウンロードすることも可能です。
また、Watson Data Platformを含めた、データサイエンス全般の進め方について学習できるセミナーも開催されています。
データサイエンスに関しては、無償で利用できるBig Data University（英語）を参考にしてください。
Watson Data Platformを試したい・詳しく知りたい方は
本稿で紹介しているData Science Experienceとそのデータ分析サンプルをはじめ、Watson Data Platformが提供する各種ツール・サンプルを、下記のWebサイトで皆さんにもお試しいただけます。詳細な資料なども配付していますので、ぜひご覧ください！
