ビッグデータ処理の各段階に適したサービスの選択
クラーリ氏からバトンを引き継ぐ形で「ビッグデータ処理の簡略化」というテーマで発表を行ったのは米Amazon Web Services ビジネス開発部 シニアマネージャーの川本雄人氏。ビッグデータを簡略化・要素分解し、IoT/M2Mアーキテクチャを構成するためにAWSでは何を選ぶべきか、どのように使うべきかという点について、処理のパターンそれぞれに関する解説を行いました。
ビッグデータに関するアーキテクチャを構成する際、「何かしらのデータのインプットがあり、何らかの回答を得たい」という条件を解決するために、必要な処理を繋げていくのが定石です。大きく分けると以下4つに大別することができます。
- データ収集と蓄積
- イベントプロセッシング
- データプロセッシング
- データ分析
データ収集と蓄積
多くのお客さまが目にするであろうケースとしては、Amazon S3にデータを集め、そこからAmazon EMRやAmazon DynamoDBなどと組み合わせて使うというケースが挙げられます。また、「データの粒度」によって扱うサービスを選定することも良い判断基準です。トランザクションデータであればAmazon RDSやAurora、ファイルデータであればAmazon DynamoDBやAmazon S3、またストリームデータであればAmazon Kinesisを採用する、と言ったあんばいです。
イベントプロセッシング
イベントプロセッシングについては、AWS Lambdaを使い、イベントドリブンなプログラミングでリアルタイムのインプットをトリガに次のアクションを行わせることができます。デバイスのエラー検知やパフォーマンスSLAのモニタリング、閾値を下回った在庫の通知など、さまざまなシーンで活用することが考えられます。
データプロセッシング/データ分析
データプロセッシングやデータ分析に関する部分では、データに関する問題への回答を得るための処理を行います。DWHではAmazon Redshift、分析作業には各種BIツールを用い、予測についてはAmazon Machine Learningを利用するなど、それぞれ適したサービスが考えられるでしょう。またデータ処理のフレームワークは大きく「バッチ処理」と「ストリーム処理」に分けられ、前者はAmazon EMR、後者はHBaseクラスタを使って実現することが可能です。
川本氏は最後にIoTビッグデータのユースケースとして3つの事例を紹介。1つ目は日本国内からあきんどスシローの寿司皿にセンサーデータを埋め込んでのデータ収集および可視化、2つ目はDropcam社のWi-FIで接続できる監視カメラ、そして3つ目はWeatherBug社の天気情報アプリ。後者2つの事例についてはアーキテクチャにDynamoDBを採用しており、「DynamoDB Stream」を活用することでアナリティクスやトレンド分析、異常発生予測などがこのアーキテクチャで可能となった旨について言及、DynamoDBの重要性が高まってきていると解説しました。
この記事は参考になりましたか?
- 「AWS Summit Tokyo 2015」イベントレポート連載記事一覧
-
- IoTアーキテクチャ構築における4つの課題と、AWSサービス群の使いどころ
- スタバの会員向けサービスインフラ事例で学ぶ、AWS移行時の8つの懸念と解決方法
- クラウドが今や新常識になったことを示す8つのパターン ~「AWS Summit Tokyo...
- この記事の著者
-
しんや(シンヤ)
2010年末~2013年前半位までの期間で興味のある勉強会に頻繁に参加。参加してきた勉強会のレポートブログとTogetterをひたすらまとめ続け、まとめ職人(自称/他称含む)として暫く過ごしておりました。色々な縁あってDevelopers Summit 2013では『公募レポーター』も務めました。2013年05月『出張ブロガー』を経て2013年08月にクラスメソッド株式会社へ転職。現在は業務(AWS及びその周辺技術を扱う)の...
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア


