ビッグデータ処理の各段階に適したサービスの選択
クラーリ氏からバトンを引き継ぐ形で「ビッグデータ処理の簡略化」というテーマで発表を行ったのは米Amazon Web Services ビジネス開発部 シニアマネージャーの川本雄人氏。ビッグデータを簡略化・要素分解し、IoT／M2Mアーキテクチャを構成するためにAWSでは何を選ぶべきか、どのように使うべきかという点について、処理のパターンそれぞれに関する解説を行いました。
ビッグデータに関するアーキテクチャを構成する際、「何かしらのデータのインプットがあり、何らかの回答を得たい」という条件を解決するために、必要な処理を繋げていくのが定石です。大きく分けると以下4つに大別することができます。
- データ収集と蓄積
- イベントプロセッシング
- データプロセッシング
- データ分析
データ収集と蓄積
多くのお客さまが目にするであろうケースとしては、Amazon S3にデータを集め、そこからAmazon EMRやAmazon DynamoDBなどと組み合わせて使うというケースが挙げられます。また、「データの粒度」によって扱うサービスを選定することも良い判断基準です。トランザクションデータであればAmazon RDSやAurora、ファイルデータであればAmazon DynamoDBやAmazon S3、またストリームデータであればAmazon Kinesisを採用する、と言ったあんばいです。
イベントプロセッシング
イベントプロセッシングについては、AWS Lambdaを使い、イベントドリブンなプログラミングでリアルタイムのインプットをトリガに次のアクションを行わせることができます。デバイスのエラー検知やパフォーマンスSLAのモニタリング、閾値を下回った在庫の通知など、さまざまなシーンで活用することが考えられます。
データプロセッシング／データ分析
データプロセッシングやデータ分析に関する部分では、データに関する問題への回答を得るための処理を行います。DWHではAmazon Redshift、分析作業には各種BIツールを用い、予測についてはAmazon Machine Learningを利用するなど、それぞれ適したサービスが考えられるでしょう。またデータ処理のフレームワークは大きく「バッチ処理」と「ストリーム処理」に分けられ、前者はAmazon EMR、後者はHBaseクラスタを使って実現することが可能です。
川本氏は最後にIoTビッグデータのユースケースとして3つの事例を紹介。1つ目は日本国内からあきんどスシローの寿司皿にセンサーデータを埋め込んでのデータ収集および可視化、2つ目はDropcam社のWi-FIで接続できる監視カメラ、そして3つ目はWeatherBug社の天気情報アプリ。後者2つの事例についてはアーキテクチャにDynamoDBを採用しており、「DynamoDB Stream」を活用することでアナリティクスやトレンド分析、異常発生予測などがこのアーキテクチャで可能となった旨について言及、DynamoDBの重要性が高まってきていると解説しました。
