SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

特集記事

IBM版Hadoopでクラスターを簡単セットアップ

IBM Distribution of Apache Hadoopでの環境構築例

  • X ポスト
  • このエントリーをはてなブックマークに追加

 IBM版Apache Hadoop(英語名:IBM Distribution of Apache Hadoop / 通称:IDAHO)とは、IBMのJava VMで動く、インストーラー付きApache Hadoopです。この記事では、IDAHOをダウンロードし、同梱されているREADME.txtに従って、3台のノードによるクラスターを構成する手順をご紹介します。

  • X ポスト
  • このエントリーをはてなブックマークに追加

はじめに

 IBM版Apache Hadoop(英語名:IBM Distribution of Apache Hadoop / 通称:IDAHO)とは、IBMのJava VMで動く、インストーラー付きApache Hadoopです。先進テクノロジー・ソフトウェアの無償ダウンロードサイト「IBM alphaWorks」で公開されています。

 本記事執筆時点では、32-bit Linux version of the IBM SDK for Java 6 SR 8で稼働します。また、IDAHO-1.0では、Apache Hadoop version 0.20.2をベースにしています。

 IDAHOには、Web-UIによるインストーラーがついています。SSH設定、Javaランタイム、Hadoopなどの設定を自動的に行いますので、Hadoopクラスターのセットアップが簡単に行えます。また、一回の作業で複数マシン構成のクラスターをセットアップすることができますので、とても楽ができます。

 この記事では、IDAHOをダウンロードし、同梱されているREADME.txtに従って、3台のノードによるクラスターを構成する手順をご紹介します。1ノードをネームノードに、すべてのノードをデータノードにします。

 IDAHOは「アイダホ」と読みます。

基礎知識

 この記事では、読者が以下のことを事前に知っていることを前提にしています。

  • LinuxとUNIX系コマンドの基礎
  • Hadoopの基礎

 オープンソース版のApache Hadoopとの違いを理解するためには、ApacheからダウンロードしたHadoopをセットアップした経験があるとよいかもしません。

前提環境

 IDAHOは、以下の環境を前提としています。

表1 IDAHOが前提とする環境
OS Red Hat Enterprise Linux 5.4(以下RHEL5.4)
SUSE Linux Enterprise Server SLES 11(以下SLES11)
RAM 4GB
DISK 40GB

 ここではRHEL5.4を使います。Linuxは、以下の条件をクリアしておく必要があります。

表2 事前に必要なLinuxの設定
SSH IDAHOのインストーラーやHadoopは通信にSSHを使いますので、SSHが稼働している必要があります。RHELなどでは通常デフォルトで動いていますので、それをそのまま利用できます。
Expect 前提のソフトウェアとしてExpectがあります。普通にサーバーインストールした状態で、RHEL5.4にはインストールされていませんでしたので、以下のコマンドを使ってインストールしました(RHNへの登録が必要です。当然rpmなどを使ってインストールしても構いません)。

yum install expect
ホスト名 それぞれに固定の短縮ネットワーク名を与え、相互に見えるように準備してください。DHCPやDDNSでは不都合が生じます。

 Javaは同梱されていますので、別途準備する必要はありません。

次のページ
マシン構成

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
特集記事連載記事一覧

もっと読む

この記事の著者

米持 幸寿(ヨネモチ ユキヒサ)

日本アイ・ビー・エム公認 ソフトウェア・エバンジェリスト。alphaWorks、developerWorks、インキュベーション系製品、アセットなどのテクノロジーの推進をしつつ、テクノロジー戦略、エバンジェリストチームをリードしている。講演や執筆も多数。主な著書に「かんたんサーバーサイドJava」(翔泳社)、「Webサービス完全解説」(翔泳社)がある。developerWorks Japan ブログ 「米持幸寿のブログ

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/5511 2010/10/15 14:40

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング