SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Amazon Redshiftによるビッグデータ分析環境の構築

Amazon Redshiftで構築するビッグデータ分析環境の構成要素と全体像

Amazon Redshiftによるビッグデータ分析環境の構築(1)


  • X ポスト
  • このエントリーをはてなブックマークに追加

 数多くのAWS(Amazon Web Sevices)サービスのうち、“ビッグデータ”を扱う環境として注目を浴びているのが、データウェアハウス(以下、DWH)サービスの「Amazon Redshift」です。機能追加や改善リリースも頻繁に行われています。しかし、興味や関心はあるものの、使い方や環境構築に不安、疑問をお持ちの方も多いのではないでしょうか。この連載では、Amazon Redshiftとその他のAWSサービスにより、BIクラスタ分析環境を構築する手順について解説します。

  • X ポスト
  • このエントリーをはてなブックマークに追加

 本連載では、次のアーキテクチャ構成図にある環境を構築します。今回は、その環境に含まれる要素について説明します。

オンプレミス環境

 上記の構成図には「オンプレミス環境」と記載しましたが、オンプレミス/クラウドにかかわらず、「投入する対象のデータが生成・出力されている場所」と考えてください。環境を構築する際の「分析作業サイクル」の起点となる場所です。既存のデータベース環境からエクスポートされるファイルを利用する場合もあるでしょうし、新規に作成する場合もあるでしょう。また、外部からデータを入手し、分析に合わせて用いるということもあるかもしれません。

 いずれにしても、これらの「分析」の元になるデータを準備しておくことが、データ分析環境を構築する上での第一歩となります。

AWS環境

 今回構築する分析環境では、Amazon Redshift(以下、Redshift)のほか、以下のようなAWSサービスを使用します。

Amazon S3

 AWSが提供するインターネット用ストレージサービスです。AWSのあらゆるサービスで利用されています。今回構築する分析環境では、Redshiftにデータを取り込むための「データ置き場」として利用します。

Amazon VPCおよびネットワーク、サブネット情報

 今回のAWS環境下では、RedshiftとEC2(仮想サーバ)を立ち上げますが、そのために、まず土台となる仮想プライベートクラウド(VPC)や各種ネットワーク情報を用意しておく必要があります。具体的には、独自のIPアドレスレンジの選択、サブネットの作成、ルートテーブル、ネットワークゲートウェイの設定などが該当します。

Amazon Redshift

 AWSが提供する高速かつフルマネージドな、ペタバイト規模のDWHサービスです。PostgreSQLのJDBCおよびODBCに対応しており、各種ツールからアクセスする際も、PostgreSQLに対応したものを用います。

 DWHと聞いて「どうやって扱うんだろう?」と戸惑う方がいるかもしれませんが、難しく考える必要はありません。「データの入れ物」で、「セキュリティ設定やバックアップなどは管理コンソール上で行えて、かつ適宜対応してくれるもの」という程度に思ってください。

Amazon EC2

 Amazon S3からRedshiftへのデータ投入や、Redshiftへのデータベース接続、データ操作などを行う際に利用します。また、データの投入時や投入後に、データの編集・加工が一定のタイミングで必要になった場合、それらのバッチ処理の実行や自動化組み込みの拠点としてのバッチサーバの役割を担うケースもあります。

会員登録無料すると、続きをお読みいただけます

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

次のページ
使用する分析環境・ツール

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
Amazon Redshiftによるビッグデータ分析環境の構築連載記事一覧

もっと読む

この記事の著者

しんや(シンヤ)

2010年末~2013年前半位までの期間で興味のある勉強会に頻繁に参加。参加してきた勉強会のレポートブログとTogetterをひたすらまとめ続け、まとめ職人(自称/他称含む)として暫く過ごしておりました。色々な縁あってDevelopers Summit 2013では『公募レポーター』も務めました。2013年05月『出張ブロガー』を経て2013年08月にクラスメソッド株式会社へ転職。現在は業務(AWS及びその周辺技術を扱う)の...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/7774 2014/09/17 20:37

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング