なお、「SoftLayer」のリセラーであるエフ・アイ・ティー・パシフィック社が、同ソリューションを組み込んだコードネームと同名の「Loogle」という製品を提供しており、本検証はこの製品がクラウド上で十分に利用できるかを確かめるために実施しました。
ログ解析ソリューション「Loogle」を開発した経緯
SoftLayer上での検証について説明する前に、まずは、Loogleという製品を簡単に紹介します。私は、理化学研究所の情報基盤センターに所属し、所内のネットワークの設計や運用、管理を15年ほど担当していました。運用は外部に委託していましたが、突然発生する障害に内部で対応しなければならないことも度々ありました。
障害が発生すると、障害の原因解明や問題解決の手掛かりを得るために、機器のログを解析するわけですが、大量のログをさまざまな視点で見ていくのは労力と時間が掛かり、たいへん苦痛でした。そこで、ログを解析するソフトの購入を検討しました。
市販ソフトはたくさんあり、いろいろとテストをしてみました。しかしながら、使い勝手が悪い、扱えるログの種類や検索できる項目が決められて自由度が低く、エンジニアの職人技が活かせない、あるいは機能は優れているが桁違いに高額であるなど、満足のいく市販ソフトは見つかりませんでした。
大量のログから、簡単かつ高速で必要な情報を検索し解析したいと考え、開発したのが“Loogle”です。“Loogle”は、思い付いたキーワードで検索ができること、大量のログが対象でも検索できること、検索を実行したら、数秒以内で解析できることに重点を置き、レポート機能を搭載せず、高速検索に特化して開発したログ解析ソリューションです。
検証にあたって、SoftLayerについての知識がまったくありませんでしたので、「目的を設定して使ってみる」のが早道と考え、まずは、LoogleがSoftLayer上で、どの程度スケーラブルに動作するのかを検証しました。これまで、Loogleをクラウド上で試したことがなかったため、たいへん興味深い検証になりました。
「Loogle」の特徴
Loogleは、アプリケーション（フレームワーク）で、少規模から大規模のログ解析を実施する基礎となるように設計されています。一口にログ解析と言っても形態はさまざまなのですが、Loogleは蓄えたSyslog的ログファイルを自由なキーワードで検索できます。大容量ログを高速に検索できるため、相関解析などが比較的容易に行えます。また、テンプレート方式の製品と異なり、テンプレートを作るごとにコストが掛からないため、必要になった時に解析したりアプリを作成すれば良いのも利点です。
仕組み的には、ログファイル専用の独自DBがコアであり、一種のNoSQL的なものと言っても間違いないと思います。このDBは、インデックス作成に一番コストが掛かり、今回の実験はそこに重点を置いて検証を実施しました。
SoftLayerは、I/O転送およびデータセンター間のデータ転送が無料で、仮想サーバーだけでなく、専有の物理サーバーが利用でき、CPU、GPUやストレージなど、豊富な選択肢が用意されています。
検証方針
今回の検証では、時間やリソース等のさまざまな制限がありました。特に、計算リソースについては、できれば専有サーバーを1000台程度使用したかったのですが（笑）、コストの関係もあり、限られたリソースでの検証となりました（Loogleはディスク依存度が高く、SSDやRAIDなどを専用ハードウェアで動作させればとても早くなります）。そこで、仮想サーバーとベアメタル（物理）サーバーの2形態で、2～3TBのSyslogファイルを転送し、インデックスを作成することにしました。
SoftLayerは、現時点では日本国内にデータセンターがありません。そこで、日本での利用を想定し、データの転送スピードが最も早かったサンノゼ（San Jose）のデータセンターへ、対象となるログを日本から転送して検証しました。
