CodeZine(コードジン)

特集ページ一覧

Fluentdで始めるリアルタイムでのログ有効活用

ログ収集ミドルウェア「Fluentd」入門

  • LINEで送る
  • このエントリーをはてなブックマークに追加

目次

Fluentdの使用例

 Fluentdの具体的な使用例を説明します。ログを出力するアプリケーションサーバーと、ログを収集して整形する中継サーバーと、整形したログを格納してグラフ表示するグラフ描画サーバーの3つのサーバーで構成します。それぞれのサーバーにFluentd(td-agent)をインストールします。図4は、各サーバーで使用するFluentdのプラグインについて説明したものです。

図4:Fluentdの使用例
図4:Fluentdの使用例

 アプリケーションサーバーとしてnginxを使用しています。nginxのアクセスログがファイルに書き込まれます。Fluentdのtailプラグインで定期的にアクセスログを読み取り、パースした結果をforwardプラグインで中継サーバーに転送します。中継サーバーでは、1分間のHTTPステータスコード別のアクセス数をdatacounterプラグインでカウントし、結果をgrowthforecastプラグインを使用してグラフ描画ミドルウェアであるGrowthForecastのAPIに送信します。

アプリケーションサーバーでの設定

 nginxのアクセスログは、/usr/local/nginx/logs/access.logに出力されているとします。Fluentdの標準プラグインであるtailプラグインを使用して、パースします。Fluentdで扱うログのインプットは<source>タグで指定します。tailプラグイン(*2)を使用するので、typeにtailを指定しています(リスト8)。

[リスト8]tailプラグインの設定 /etc/td-agent/d-agent.conf
<source>
  type tail
  path /usr/local/nginx/logs/access.log
  format /^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<status>[^ ]*) (?<size>[^ ]*) (?<size2>[^ ]*) "(?<referer>[^\"]*)" "(?<agent>[^\"]*)" "(?<host2>[^ ]*)" (?<response_time>[^ ]*) "(?<up_response_time>[^ ]*)" "(?<up_addr2>[^ ]*)"?/
  time_format %d/%b/%Y:%H:%M:%S %z
  tag nginx.access
  pos_file /var/log/td-agent/nginx.pos
</source>

 表1は、リスト8で指定したtailプラグインのパラメーターの意味を説明したものです。tailプラグインでは、読み取るログファイルパスと書き込まれるログのフォーマットを指定します。ログのフォーマットには、テンプレートがいくつか用意されており、「apache2」や「syslog」と指定することもできます。「apach2」と指定すると、リスト8における下記部分の設定が読み込まれます。

format /^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$/

 テンプレートが用意されていない形式のログについては、正規表現で記述します。

表1:リスト8で指定したパラメーターの意味
オプション 説明
path 読み込みたいログが出力されるパスを指定します
format ログのフォーマットを正規表現で記述します
time_format フォーマットに「time」が含まれている場合はtimeのフォーマットを指定します
pos_file Fluentdが最後に読み込んだログファイルの位置を記録します

 リスト9は、tailプラグインで読み取った結果を中継サーバーにforwardプラグインで転送しています。この例では、2つの中継サーバーに対して、ラウンドロビンで負荷分散して転送しています。forwardプラグイン(*3)では、ラウンドロビンの重み付けであったり、ホットスタンバイの冗長構成のサーバー指定やタイムアウト時間、バッファサイズなど細かい指定をすることができますので、必要に応じて設定をしてください。

[リスト9]forwardプラグインの設定 /etc/td-agent/d-agent.conf
<match nginx.access>
  type forward
  <server>
    host fluentdServer01
  </server>
  <server>
    host fluentdServer02
  </server>
</match>

  • LINEで送る
  • このエントリーをはてなブックマークに追加

修正履歴

  • 2013/02/25 20:34 誤字を修正しました

著者プロフィール

  • WINGSプロジェクト 大和屋 貴仁(ヤマトヤ タカヒト )

    <WINGSプロジェクトについて> 有限会社 WINGSプロジェクトが運営する、テクニカル執筆コミュニティ(代表 山田祥寛)。主にWeb開発分野の書籍/記事執筆、翻訳、講演等を幅広く手がける。2018年11月時点での登録メンバは55名で、現在も執筆メンバを募集中。興味のある方は、どしどし応募頂...

  • 山田 祥寛(ヤマダ ヨシヒロ)

    静岡県榛原町生まれ。一橋大学経済学部卒業後、NECにてシステム企画業務に携わるが、2003年4月に念願かなってフリーライターに転身。Microsoft MVP for ASP/ASP.NET。執筆コミュニティ「WINGSプロジェクト」代表。 主な著書に「入門シリーズ(サーバサイドAjax/XM...

あなたにオススメ

All contents copyright © 2005-2021 Shoeisha Co., Ltd. All rights reserved. ver.1.5