フリーのビッグデータ分析学習環境を使って、全文検索アプリケーションを構築してみる

「Cloudera Quick Start VM」を活用したビッグデータ分析の学習環境構築　第4回

まとめ

　いかがでしたか？

　Hadoopが登場したばかりの頃とは異なり、Hadoopエコシステムも充実して大規模データの処理を行う基盤が使いやすくなっています。今回は仮想マシンの環境を利用しましたが、もちろん、この連載で学んだ技術をそのまま大量のサーバの上で大量のデータに対して実行することができます。

　さあ、次のステップはHadoopクラスタで実際に大量のデータを扱ってみることです。現在では、Hadoopクラスタも簡単に用意することができます。

　まず1つ目の方法は、Cloudera Liveを使うことです。Cloudera Liveは、商用BIツールとClouderaがすでにインストールされているクラウド上のインスタンスを簡単に用意してくれるサービスです。有償ですが、気軽に大規模データ基盤を試すことができます。Cloudera Liveはこちらから試すことができます。

• Cloudera Live

　2つ目の方法は、Cloudera Directorを使うことです。Cloudera Directorは、AWS上でインスタンスの構築からClouderaのインストールまでを簡単に行えるツールです。Cloudera Director自体は無償ですが、AWSのインスタンス費用は別途かかります。すでに自社でAWSの環境を持っているのであれば、こちらで試してみるのもよいでしょう。Cloudera Directorはこちらからダウンロードできます。

• Cloudera Director

　最後の方法は、運用管理ツールCloudera Managerを利用して、実際のサーバ上で構築することです。Cloudera Managerを利用することで、Hadoopの環境構築や管理、運用にかかる時間を大幅に短縮することもできます。検証環境のためのまとまった予算があり、実サーバを使って性能評価などを行いたい場合はこの方法を選ぶとよいでしょう。Cloudera Managerには無償版のCloudera Expressがあります。無償版とはいえ、基本的な管理機能は十分に備わっており、そのままクラスタとして運用を続けることも可能です。Cloudera Managerはこちらからダウンロードできます。

• Cloudera Manager

　皆さんも大規模データの分析基盤を構築し、データを活用してください！