LogstashをバイパスするIngest、モニタリングを強化するMetricbeat
BeatsとLogstashでの機能強化は、「Ingest」「Metricbeat」が紹介された。セッションを担当したのは、Logstashデベロッパーのアーロン・ミルディンシュタイン氏。
これまでElasticsearchがデータを読み取る先はBeatsやLogstashが主なものだった。Beatsはパケットやファイルなど特定のソースに特化したデータフロントエンド。Logstashはもう少し高度な機器やサーバが生成するログの前処理を行う。Logstashは、Elasticsearchにデータを送るための複雑な処理を行うことができる。前者はライトウェイトなモジュールで、後者は高機能だが重いという特徴がある。Ingest Nodeは、Logstashほど重い処理が必要ないログデータをBeatsからLogstashを経由しないで読み込ませるための仕組みだ。Logstashのように条件付きフローでデータを処理することはできないが、単純なパイプラインなら簡単に処理できる。
Metricbeatは、さまざまな計測データを処理するためのBeatモジュールだ。類似のものにTopbeatというものがあったが、Metricbeatは、CPU時間、メモリ消費量、I/Oパフォーマンスに関するデータに特化している。壇上で、実際にMetricbeatを使って、システムのパフォーマンスモニタができるようなダッシュボードを作るデモが行われた。
Logstashは、5.0になるにあたって、Javaの書き換えが進められており、パフォーマンスも向上していると言う。Beatsからの入力処理が50％もアップした例があるそうだ。そのほか、GeoIP2ではIPv6がサポートされ、Hadoopのプラグインでは、並行実行リーダーが追加された。
X-PackのWatcherで不正アクセス監視
最後は、X-Packのデモと、バノン氏が4月までにはGAをリリースするとしたPrelertのデモセッションだ。X-Packは、商用製品エンジニアリングリードかつ創業者であるウーリ・ボネス氏、Prelertはソリューションズアーキテクト 大輪弘詳氏が担当した。
X-Packのデモでは、セキュリティ機能としてユーザーのロール（アクセス制御）を設定する機能、ダッシュボードからPDFのレポートを作成する機能を紹介したのち、データを監視して任意のアクションを起こすWatcherの機能がデモされた。デモでは、ログデータからadminに対するアクセスを可視化し、解析した行動パターンからトリガーを設定し、どういう頻度でチェックを行い、どんな動作を行うかをWatcherにConsoleで記述する手順が示された。これにより、乗っ取られたadminアカウントの不正操作を検知できる。
ボネス氏は、エクステンションの今後の展開について、セキュリティではKerberos対応、SAML対応が予定されているとした。モニタリングでは、よりプロアクティブ（予測検知）な問題検出機能の強化、Watcherをさまざまなスタックで実行できる機能を考えている。単純なところではCSVファイルのエクスポート機能などを追加・改善していくと述べた。
PrelertとElasticを連携させ攻撃検知＋原因解析
Prelertは、教師なし機械学習により、ユーザーごとのデータをモデルに学習できるといい、瞬断に近いアクセスの落ち込みを、Webアクセスログから検出するデモが行われた。瞬断のような継続しないトラブルは、閾値チェックでは異常と検出されないことがある。Prelertでは、それまでのトラフィックパターンから、測定誤差や突発的な事象を見極め、本当に特異な点を検出することができる。
しかし、これだけではその原因は分からない。さらにシステムログやトラフィックのログデータを重ねることで、分析を行う必要がある。デモでは、ポートスキャン、不審なSSHログイン試行、特定ユーザーにより不審なファイルアクセス（辞書攻撃でパスワードを破られたユーザー）、同ユーザーによる外部アクセス（情報漏えい）といった一連の攻撃を解析する様子が示された。
大輪氏によると、Prelertは、現在ベータ版が公開中で、デモのようなElastice Stackとの連携機能をまさに開発、強化が進んでいると言う。
