SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

DeveloperZine(デベロッパージン)- エンジニアの意思決定を支える技術情報メディア ProductZine

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

特集記事

IBM版Hadoopでクラスターを簡単セットアップ

IBM Distribution of Apache Hadoopでの環境構築例

マシン構成

 本記事では3台のマシン構成でクラスターを作ります。ホスト名は以下のように設定されています。

表3 ホストの設定
ホスト HDFS MapReduce
name.yone.com NameNode/Secondary NameNode JobTracker
node1.yone.com DataNode TaskTracker
node2.yone.com DataNode TaskTracker

 Hadoopの基礎知識がある方には不要かもしれませんが、一応、各ロール(役割)の意味を参考として掲載しておきます。どのマシンにどの役割を与えるかはHadoopの計画によって違うと思いますが、ここでは台数が少ないため、すべてのマシンをデータノード・TaskTrackerにしています。

表4 (参考)各役割の意味
NameNode HDFSのファイルの管理をするプロセス
Secondary NameNode 同上
DataNode HDFSのファイルを保存するプロセス
JobTracker MapReduceジョブの全体を管理する
TaskTracker MapReduceジョブの個別管理を行う

 nameをネームノード、node1、node2がデータノード、タスクノードとなります。これ以降は、データノードが何台増えても同じ作業なので、省略します。また、大量のサーバーを登録する場合にWeb画面の手作業では面倒な場合は、XMLファイル(/tmp/hdm/install.xml)を生成することで大量のサーバーを登録することもできます。

図1 マシン構成
図1 マシン構成

 生のApache Hadoopでは、3台のマシンがある場合には3台のマシンでそれぞれインストール作業をする必要があります。しかし、IDAHOの場合はSSHの設定、Hadoop管理ユーザーの作成、JavaランタイムやHadoopランタイムの送り込みなどをリモートで、自動で行います。つまり、IDAHOのインストーラーとはHadoopクラスターのプロビジョニング・ソリューションです。これは、ノード数が多いときの作業効率を考えればすばらしい機能です。

 この記事ではネームノードで作業していますが、まったく別の第三のマシンで作業してプロビジョンすることもできます。

事前準備

1. Linuxのインストール

 3台のマシンすべてにRHEL 5.4をインストールします。面倒がないように、ファイアウォールとSELinuxはオフにします。NTPなどを使ってクラスター内のサーバーの時計を同期させます。

2. IDAHOのダウンロード

 ネームノードとなるマシンに、IBM alphaWorksからインストーラーをダウンロードします。

 ダウンロードするにあたって、IBM-IDが必要です。IBM-IDをお持ちでない方は、IBMのトップページ右上にある[登録]リンクをクリックしてメンバー登録してから、再度ダウンロードサイトに訪れてください。「IDAHO-1.0.tar.gz」ファイルが入手できたら、すべてのLinuxの任意のフォルダーに置き、展開します。

展開のコマンド例
tar xvzf IDAHO-1.0.tar.gz

 本稿執筆時点のインストーラーに一部不具合があるようで、リモートからのユーザー作成が失敗するケースがあります。このため、すべてのノードで、ユーザー「hdpadmin」(グループ、パスワードもhdpadmin)をあらかじめ作成しておくことをお勧めします。

 クラウドなどの仮想化環境では、1つのLinux環境を準備し、クローンすればより効率的です。

次のページ
インストーラーの起動

この記事は参考になりましたか?

特集記事連載記事一覧

もっと読む

この記事の著者

米持 幸寿(ヨネモチ ユキヒサ)

日本アイ・ビー・エム公認 ソフトウェア・エバンジェリスト。alphaWorks、developerWorks、インキュベーション系製品、アセットなどのテクノロジーの推進をしつつ、テクノロジー戦略、エバンジェリストチームをリードしている。講演や執筆も多数。主な著書に「かんたんサーバーサイドJava」(翔泳社)、「Webサービス完全解説」(翔泳社)がある。developerWorks Japan ブログ 「米持幸寿のブログ

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

CodeZine(コードジン)
https://codezine.jp/article/detail/5511 2010/10/15 14:40

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー