SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

DeveloperZine(デベロッパージン)- エンジニアの意思決定を支える技術情報メディア ProductZine

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Yahoo! JAPAN 黒帯シリーズ

OSSのツール「Solr」「Flume」「Banana」の組み合わせによるデータ可視化プラットフォーム構築

Yahoo! JAPAN 黒帯シリーズ 第2回 ~ 「Solr黒帯」によるデータ可視化環境構築の解説

6. Flumeの起動

 Flumeの設定が完了したので起動します。/tmp/access.logが存在しない場合は、あらかじめ空のファイルを作成しておいたほうがよいでしょう。

$ touch /tmp/access.log
$ $FLUME_HOME/bin/flume-ng agent -n agent -c $FLUME_HOME/conf -f $FLUME_HOME/conf/flume-conf.properties

 $HOME/logs/flume.logにエラーが出力されていなければFlumeの起動は成功です。

7. ダミーログの出力

 さて、Solr、Banana、Flumeのセットアップを完了し、データ可視化プラットフォームの構築は完了しましたが、肝心の可視化したいデータがありません。テストデータの出力にapache-loggenを使用したいと思います。

7.1 apache-loggenのインストール

 apache-loggenはRubyで開発された、ダミーのApache httpdのログを出力するアプリケーションです。RubyとGemがセットアップ済みであれば、下記のコマンドで簡単にインストールすることができます。

$ sudo gem install apache-loggen

7.2 ダミーログの出力

 インストールが完了したらダミーのログを出力しましょう。下記コマンドで毎秒4レコードのログを/tmp/access.logに出力します。先ほどのflume-conf.propertiesで指定したログファイルのパスをダミーログの出力先にしましょう。

$ apache-loggen --rate 4 /tmp/access.log

 ダミーログが/tmp/acces.logに出力されていることを確認します。

$ tail /tmp/access.log

 ファイルにダミーログが出力されていることを確認したら、次はSolrに登録されているか確認しましょう。Admin UIのQueryスクリーン(http://localhost:8983/solr/#/httpd_logs/query)を表示します。

 表5のように入力し、Execute Queryのボタンをクリックします。FlumeからデータがSolrに送られていれば、図11のように画面右側に登録されたデータがJSON形式で表示されます。

 もしSolrにデータが登録されていないようでしたら、SolrやFlumeのログなどを確認し、エラーが発生していないか確認してください。

表5 Solr検索条件
項目
Request-Handler (qt) /select
common q *:*
wt json
indent On
図11 Solr検索結果
図11 Solr検索結果

次のページ
8. Banana Dashboard

この記事は参考になりましたか?

Yahoo! JAPAN 黒帯シリーズ連載記事一覧

もっと読む

この記事の著者

大須賀 稔(ヤフー株式会社)(オオスカ ミノル)

1975年埼玉県生まれ。インフォシーク入社後、同社の吸収合併により楽天、米国Ask.com日本法人、楽天(復帰)、ロンウイットを経て、2014年ヤフー株式会社入社。2013年、Apacheソフトウェア財団の運営するSolrの関連プロジェクトであるManifoldCFのコミッターに就任。「[改訂新版]...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

CodeZine(コードジン)
https://codezine.jp/article/detail/8707 2015/05/28 14:00

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー