Shoeisha Technology Media

CodeZine(コードジン)

特集ページ一覧

IBM版Hadoopでクラスターを簡単セットアップ

IBM Distribution of Apache Hadoopでの環境構築例

  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加
2010/10/15 14:40

 IBM版Apache Hadoop(英語名:IBM Distribution of Apache Hadoop / 通称:IDAHO)とは、IBMのJava VMで動く、インストーラー付きApache Hadoopです。この記事では、IDAHOをダウンロードし、同梱されているREADME.txtに従って、3台のノードによるクラスターを構成する手順をご紹介します。

目次

はじめに

 IBM版Apache Hadoop(英語名:IBM Distribution of Apache Hadoop / 通称:IDAHO)とは、IBMのJava VMで動く、インストーラー付きApache Hadoopです。先進テクノロジー・ソフトウェアの無償ダウンロードサイト「IBM alphaWorks」で公開されています。

 本記事執筆時点では、32-bit Linux version of the IBM SDK for Java 6 SR 8で稼働します。また、IDAHO-1.0では、Apache Hadoop version 0.20.2をベースにしています。

 IDAHOには、Web-UIによるインストーラーがついています。SSH設定、Javaランタイム、Hadoopなどの設定を自動的に行いますので、Hadoopクラスターのセットアップが簡単に行えます。また、一回の作業で複数マシン構成のクラスターをセットアップすることができますので、とても楽ができます。

 この記事では、IDAHOをダウンロードし、同梱されているREADME.txtに従って、3台のノードによるクラスターを構成する手順をご紹介します。1ノードをネームノードに、すべてのノードをデータノードにします。

 IDAHOは「アイダホ」と読みます。

基礎知識

 この記事では、読者が以下のことを事前に知っていることを前提にしています。

  • LinuxとUNIX系コマンドの基礎
  • Hadoopの基礎

 オープンソース版のApache Hadoopとの違いを理解するためには、ApacheからダウンロードしたHadoopをセットアップした経験があるとよいかもしません。

前提環境

 IDAHOは、以下の環境を前提としています。

表1 IDAHOが前提とする環境
OS Red Hat Enterprise Linux 5.4(以下RHEL5.4)
SUSE Linux Enterprise Server SLES 11(以下SLES11)
RAM 4GB
DISK 40GB

 ここではRHEL5.4を使います。Linuxは、以下の条件をクリアしておく必要があります。

表2 事前に必要なLinuxの設定
SSH IDAHOのインストーラーやHadoopは通信にSSHを使いますので、SSHが稼働している必要があります。RHELなどでは通常デフォルトで動いていますので、それをそのまま利用できます。
Expect 前提のソフトウェアとしてExpectがあります。普通にサーバーインストールした状態で、RHEL5.4にはインストールされていませんでしたので、以下のコマンドを使ってインストールしました(RHNへの登録が必要です。当然rpmなどを使ってインストールしても構いません)。

yum install expect
ホスト名 それぞれに固定の短縮ネットワーク名を与え、相互に見えるように準備してください。DHCPやDDNSでは不都合が生じます。

 Javaは同梱されていますので、別途準備する必要はありません。


  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加

著者プロフィール

  • 米持 幸寿(ヨネモチ ユキヒサ)

    日本アイ・ビー・エム公認 ソフトウェア・エバンジェリスト。alphaWorks、developerWorks、インキュベーション系製品、アセットなどのテクノロジーの推進をしつつ、テクノロジー戦略、エバンジェリストチームをリードしている。講演や執筆も多数。主な著書に「かんたんサーバーサイドJava」(...

All contents copyright © 2005-2019 Shoeisha Co., Ltd. All rights reserved. ver.1.5