Fluentdの使用例
Fluentdの具体的な使用例を説明します。ログを出力するアプリケーションサーバーと、ログを収集して整形する中継サーバーと、整形したログを格納してグラフ表示するグラフ描画サーバーの3つのサーバーで構成します。それぞれのサーバーにFluentd（td-agent）をインストールします。図4は、各サーバーで使用するFluentdのプラグインについて説明したものです。
アプリケーションサーバーとしてnginxを使用しています。nginxのアクセスログがファイルに書き込まれます。Fluentdのtailプラグインで定期的にアクセスログを読み取り、パースした結果をforwardプラグインで中継サーバーに転送します。中継サーバーでは、1分間のHTTPステータスコード別のアクセス数をdatacounterプラグインでカウントし、結果をgrowthforecastプラグインを使用してグラフ描画ミドルウェアであるGrowthForecastのAPIに送信します。
アプリケーションサーバーでの設定
nginxのアクセスログは、/usr/local/nginx/logs/access.logに出力されているとします。Fluentdの標準プラグインであるtailプラグインを使用して、パースします。Fluentdで扱うログのインプットは<source>タグで指定します。tailプラグイン（*2）を使用するので、typeにtailを指定しています（リスト8）。
<source> type tail path /usr/local/nginx/logs/access.log format /^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<status>[^ ]*) (?<size>[^ ]*) (?<size2>[^ ]*) "(?<referer>[^\"]*)" "(?<agent>[^\"]*)" "(?<host2>[^ ]*)" (?<response_time>[^ ]*) "(?<up_response_time>[^ ]*)" "(?<up_addr2>[^ ]*)"?/ time_format %d/%b/%Y:%H:%M:%S %z tag nginx.access pos_file /var/log/td-agent/nginx.pos </source>
表1は、リスト8で指定したtailプラグインのパラメーターの意味を説明したものです。tailプラグインでは、読み取るログファイルパスと書き込まれるログのフォーマットを指定します。ログのフォーマットには、テンプレートがいくつか用意されており、「apache2」や「syslog」と指定することもできます。「apach2」と指定すると、リスト8における下記部分の設定が読み込まれます。
format /^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$/
テンプレートが用意されていない形式のログについては、正規表現で記述します。
| オプション | 説明 |
|---|---|
| path | 読み込みたいログが出力されるパスを指定します |
| format | ログのフォーマットを正規表現で記述します |
| time_format | フォーマットに「time」が含まれている場合はtimeのフォーマットを指定します |
| pos_file | Fluentdが最後に読み込んだログファイルの位置を記録します |
リスト9は、tailプラグインで読み取った結果を中継サーバーにforwardプラグインで転送しています。この例では、2つの中継サーバーに対して、ラウンドロビンで負荷分散して転送しています。forwardプラグイン（*3）では、ラウンドロビンの重み付けであったり、ホットスタンバイの冗長構成のサーバー指定やタイムアウト時間、バッファサイズなど細かい指定をすることができますので、必要に応じて設定をしてください。
<match nginx.access>
type forward
<server>
host fluentdServer01
</server>
<server>
host fluentdServer02
</server>
</match>
