SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

特集記事(AD)

ログ解析ソリューション「Loogle」をIBMの新しいクラウドサービス「SoftLayer」上で動作検証してみた

  • X ポスト
  • このエントリーをはてなブックマークに追加

 私、理化学研究所の鶴岡が開発したログ解析ソリューション(コードネーム:“Loogle”)を、IBM社の新しいクラウドサービス「SoftLayer」上で動作検証してみました。SoftLayerを使用するのは今回が初めてです。

  • X ポスト
  • このエントリーをはてなブックマークに追加

 なお、「SoftLayer」のリセラーであるエフ・アイ・ティー・パシフィック社が、同ソリューションを組み込んだコードネームと同名の「Loogle」という製品を提供しており、本検証はこの製品がクラウド上で十分に利用できるかを確かめるために実施しました。

ログ解析ソリューション「Loogle」を開発した経緯

 SoftLayer上での検証について説明する前に、まずは、Loogleという製品を簡単に紹介します。私は、理化学研究所の情報基盤センターに所属し、所内のネットワークの設計や運用、管理を15年ほど担当していました。運用は外部に委託していましたが、突然発生する障害に内部で対応しなければならないことも度々ありました。

 障害が発生すると、障害の原因解明や問題解決の手掛かりを得るために、機器のログを解析するわけですが、大量のログをさまざまな視点で見ていくのは労力と時間が掛かり、たいへん苦痛でした。そこで、ログを解析するソフトの購入を検討しました。

 市販ソフトはたくさんあり、いろいろとテストをしてみました。しかしながら、使い勝手が悪い、扱えるログの種類や検索できる項目が決められて自由度が低く、エンジニアの職人技が活かせない、あるいは機能は優れているが桁違いに高額であるなど、満足のいく市販ソフトは見つかりませんでした。

 大量のログから、簡単かつ高速で必要な情報を検索し解析したいと考え、開発したのが“Loogle”です。“Loogle”は、思い付いたキーワードで検索ができること、大量のログが対象でも検索できること、検索を実行したら、数秒以内で解析できることに重点を置き、レポート機能を搭載せず、高速検索に特化して開発したログ解析ソリューションです。

 検証にあたって、SoftLayerについての知識がまったくありませんでしたので、「目的を設定して使ってみる」のが早道と考え、まずは、LoogleがSoftLayer上で、どの程度スケーラブルに動作するのかを検証しました。これまで、Loogleをクラウド上で試したことがなかったため、たいへん興味深い検証になりました。

Loogle運用図
Loogle運用図

「Loogle」の特徴

 LoogleSoftLayerの特徴について説明します。

 Loogleは、アプリケーション(フレームワーク)で、少規模から大規模のログ解析を実施する基礎となるように設計されています。一口にログ解析と言っても形態はさまざまなのですが、Loogleは蓄えたSyslog的ログファイルを自由なキーワードで検索できます。大容量ログを高速に検索できるため、相関解析などが比較的容易に行えます。また、テンプレート方式の製品と異なり、テンプレートを作るごとにコストが掛からないため、必要になった時に解析したりアプリを作成すれば良いのも利点です。

 仕組み的には、ログファイル専用の独自DBがコアであり、一種のNoSQL的なものと言っても間違いないと思います。このDBは、インデックス作成に一番コストが掛かり、今回の実験はそこに重点を置いて検証を実施しました。

Loogleインターフェイス画面イメージ
Loogleインターフェイス画面イメージ

 SoftLayerは、I/O転送およびデータセンター間のデータ転送が無料で、仮想サーバーだけでなく、専有の物理サーバーが利用でき、CPU、GPUやストレージなど、豊富な選択肢が用意されています。

検証方針

 今回の検証では、時間やリソース等のさまざまな制限がありました。特に、計算リソースについては、できれば専有サーバーを1000台程度使用したかったのですが(笑)、コストの関係もあり、限られたリソースでの検証となりました(Loogleはディスク依存度が高く、SSDやRAIDなどを専用ハードウェアで動作させればとても早くなります)。そこで、仮想サーバーとベアメタル(物理)サーバーの2形態で、2~3TBのSyslogファイルを転送し、インデックスを作成することにしました。

 SoftLayerは、現時点では日本国内にデータセンターがありません。そこで、日本での利用を想定し、データの転送スピードが最も早かったサンノゼ(San Jose)のデータセンターへ、対象となるログを日本から転送して検証しました。

SoftLayerのデータセンター(図の白丸がDC、赤丸がPoP)
SoftLayerのデータセンター(図の白丸がDC、赤丸がPoP)

次のページ
検証内容

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
特集記事連載記事一覧

もっと読む

この記事の著者

鶴岡 信彦(理化学研究所)(ツルオカ ノブヒコ)

理化学研究所勤務。研究所がイエローケーブルでインターネット接続した頃からITインフラの企画、設計、運用に携わる。運用に携わる中、大きなシステムほど設計通りに動かないのをなんとか回避したく思い、ログマルチキャスト配信システムやログ解析システムLoogleなどを開発してみる。世間の運用管理でほんとうに役...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

黒木 一平(理化学研究所)(クロキ イッペイ)

理化学研究所情報基盤センター所属。メールサーバやWebサーバをはじめとする各種サーバ群の運用・管理が主な担当。最近はOculus RiftとUnreal Engine 4のおかげで眠れない夜が続いています。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

趙 武魁(理化学研究所)(チョウ ブカイ)

2011年4月理化学研究所情報基盤センターに配属、センター技師として主に理研ユーザ向けの各種サービスの企画運用、及びシステムの設計、導入構築、運用管理とユーザサポートを担当しています。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

本多 英晴(理化学研究所)(ホンダ ヒデハル)

理化学研究所勤務。主にネットワークを中心としたインフラの企画運用を担当する。Splunkを使用したログ解析や、ネットワークパケット解析といったことから、オフィスレイアウトデザインまで行う。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/7694 2014/04/15 14:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング