ElasticSearch+Fluentd+kibanaでEFKスタックを作る その1

これまでVPSの監視に、influxdb+fluentd+grafanaを使っていたんだけど、influxdbを0.8から0.9にうっかりバージョンアップしたら、APIの仕様が激変して、これまでのデータ投入用スクリプトが使えなくなってしまった。そのため、これを機に今はやりのElasticSearch+kibanaのコンビネーションを試してみることにした。

ElasticSearchとkibanaを使う場合は、同じ会社が作っているLogStashを使って、通称ELKを構築するのが一般的のようだけど、これまでfluentdを使っていたし、EFKも少なからず存在するようなので、fluentdはそのまま据え置き。

ひとまず一通りインストールして、fluentdで/var/log/messagesと/var/log/secureだけElasticSearchに保存するようにしてみた。

そうすると、こんな感じで時間ごとのログを可視化できた。

grafanaだと、折れ線グラフ、棒グラフぐらいしか作れないけど、kibanaだとどうやら円グラフや地図上でのマッピングもできるらしいので、その辺をやってみたい。
例えば

• 不正アクセスがどこから来ているかマッピングする
• 性能とログを同時にダッシュボード上に出す

あたりかな。正直、まだkibanaでどんな表現ができるのか把握しきっていないので、まずはそこから。

↓SSHのアクセス元を地図上にマッピングしてみました。grugrut.hatenablog.jp

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)