Google基盤ソフトウェアのオープンソースクローンを使ってみる blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術 Google基盤ソフトウェアのオープンソースクローンを使ってみる 4 Java 印刷用を表示 ツイート 大倉 務[著] 2008/08/05 14:00 ダウンロード サンプルファイル (2.2 KB) 目次 Page1 はじめに これまでの連載 blogeyeとは blogeyeの構成 ブログのクローリング 著者属性の推定 流行度スコアの算出 流行語のランキングを表示 Amazon EC2/S3の利用 HadoopとAmazon EC2 HadoopとAmazon S3 Page2 Amazon EC2におけるHadoopクラスタの環境設定 Amazon Web Service(AWS)への登録 EC2 Command-Line Toolsのダウンロード EC2 Command-Line Toolsの設定 HadoopのEC2用スクリプトの設定 Page3 Hadoopクラスタの構築・実行 Hadoopの起動 Hadoopでジョブを実行 EC2/S3でHadoopを利用する際のコスト blogeyeにおけるHadoopクラスタの利用 Hadoopを利用するための独自のラッパークラス「SimpleMapReducer」 ラッパークラスによるコーディングの簡略化 ブログのクロール処理 HDFSとRDBMSの使い分け 著者属性の推定処理 まとめ ※この続きは、会員の方のみお読みいただけます(登録無料)。 会員登録(無料) ログインはこちら <<前へ 1 2 3 連載通知を行うには会員登録(無料)が必要です。 既に会員の方はログインを行ってください。 バックナンバー 印刷用を表示 ツイート バックナンバー 連載:Google基盤ソフトウェアのオープンソースクローンを使ってみる blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術 複数マシンへHadoopをインストールする Hadoopのインストールとサンプルプログラムの実行 Hadoop、hBaseで構築する大規模分散データ処理システム 著者プロフィール 大倉 務(オオクラ ツトム) 2007年度未踏ソフトウェア創造プロジェクトの支援を受けてblogeyeを開発。大量データを用いた自然言語処理に興味があります。 ※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です Article copyright © 2008 Tsutomu Ohkura, Shoeisha Co., Ltd. あなたにオススメ × ログイン Eメール パスワード ※旧SEメンバーシップ会員の方は、同じ登録情報(Eメール&パスワード)でログインいただけます。 × ブックマークを利用するにはログインが必要です 会員登録(無料) ログインはこちら All contents copyright © 2005-2022 Shoeisha Co., Ltd. All rights reserved. ver.1.5