IBM版Hadoopでクラスターを簡単セットアップ

IBM Distribution of Apache Hadoopでの環境構築例

インストーラーの起動

　展開したフォルダーにある「start.sh」を実行します。これで、インストーラーが起動します。

[root@name IDAHO-1.0]# ./start.sh
Extracting Java ....
Java extraction complete, using JAVA_HOME=/root/IDAHO-1.0/_jvm/ibm-java-i386-60/jre
Setting JAVA_HOME in scripts
Verifying port 8080 availability
port 8080 available
starting IDAHO Installer ..............................................................
IDAHO Installer started, please use a browser to access http://192.168.1.60:8080/Install
[root@name IDAHO-1.0]#

　Webブラウザで、http://hostname:8080/にアクセスします。

ウィザードの実行

　インストーラーはWebブラウザから操作するウィザードとなっています。以下のページがありますが、Welcome以降最初の4ページはライセンス文書なので、操作はありません。ライセンスを読み、［I accept the terms in the agreement］にチェックを入れて、ライセンスを受け入れてください。右下にある［Next］ボタンをクリックするとウィザードが進みます。

　なお、HadoopのライセンスはApacheのライセンスです。BigInsightsはIBMの早期プログラム提供ライセンス、JavaはNon-Warrantedプログラムライセンスとなっています。

• Welcome
• Agreement - Hadoop
• Agreement - BigInsights
• Agreement - Java
• Configuration
• Servers
• Summary
• Progress
• Results

Configuration（構成）ページ

図2　全体の構成

　Apache Hadoopユーザー（hdpadmin）の作成やSSHキーの配布のためにrootユーザーを使います。Rootのパスワードをセットします。

　hdfsを作るディレクトリーと、データのディレクトリーの位置を指定します。サンプル通り「/opt/hdfs」「/opt/hdfs/data」で構いません。

Servers（サーバー登録）ページ

　ここで、クラスターに含めるサーバーの一覧を作ります。一覧の上部にある［Add］ボタンをクリックし、サーバーホスト名、rootパスワード、ロールを指定します。

　ここでは前述のとおり、nameがNameNode/JobTracker/Secndary NameNode、node1とnode2がDataNode/TaskTrackerとなっています。

図3　ノードの追加

図4　サーバー一覧

Summary（サマリー）ページ

　構成内容、サーバー一覧を確認できます。ここで［Install］ボタンをクリックするとインストールが始まります。JavaランタイムおよびHadoopランタイムの、他のノードへのコピーは自動的に行われます。

Progress（進捗）ページ

　進捗状況が表示されます。最初にインストールの状況、下の段に確認のためのMapReduceのジョブ（word count）の実行状況が表示されます。

図5　進捗の表示

Result（結果）ページ

　それぞれのノードの実行状況が表示され、インストールは終了です。

図6　結果の表示