xperia z3 compactが壊れた
- カメラアプリで半押しまでしかできず、フォーカス合わせはできてもシャッターが切れない
- かなりボタンが敏感になっていてカメラアプリが勝手に起動してしまう(長押しでカメラアプリが起動するんだけど、片手持ちしたときに親指のつけねで押してる扱いになっている様子)
- おかげでパズドラでいい感じな時にカメラアプリ起動してアプリリセット、危うく不正扱いされるところだった
ElasticSearch+Fluentd+kibanaでEFKスタックを作る その2
の続きです。
今回は、SSHのアクセス元をマップ上に表現してみました。
主に、とを全面的に参考にしました。
今回は、/var/log/secureに出力される3つのログ(パスワード間違い、存在しないユーザ、ログイン成功)をすべてマッピングしてみることにしました。それぞれ以下のような感じでバラバラのフォーマットで出力されるので、一筋縄ではいかないような気がします。
Nov 3 06:05:16 hostname sshd[12893]: Failed password for userA from xxx.xxx.xxx.xxx port 34436 ssh2 Nov 3 12:45:29 hostname sshd[15166]: Accepted password for userB from xxx.xxx.xxx.xxx port 54758 ssh2 Nov 3 12:28:16 hostname sshd[15065]: Invalid user userC from xxx.xxx.xxx.xxx
完成図は以下のような感じ。ちょっとサンプル数が少ないのでつまらないかも。
fluent-plugin-geoipをインストールする
まずは、IPアドレスを座標に変換しなくてはならないので、fluent-plugin-geoipを導入
# /opt/td-agent/usr/sbin/td-agent-gem install fluent-plugin-geoip
以上。
最初間違って、td-agent-gem install geoipとしてしまったら、別のものが入ってしまったのだけれど、あれは何者だったのだろう。
なお、gccがインストールされていないと、
# /opt/td-agent/usr/sbin/td-agent-gem install fluent-plugin-geoip WARN: Unresolved specs during Gem::Specification.reset: json (>= 1.4.3) WARN: Clearing out unresolved specs. Please report a bug if this causes problems. Fetching: fluent-mixin-rewrite-tag-name-0.1.0.gem (100%) Successfully installed fluent-mixin-rewrite-tag-name-0.1.0 Fetching: geoip-c-0.9.1.gem (100%) Building native extensions. This could take a while... ERROR: Error installing fluent-plugin-geoip: ERROR: Failed to build gem native extension. /opt/td-agent/embedded/bin/ruby extconf.rb checking for iconv_open() in iconv.h... *** extconf.rb failed *** Could not create Makefile due to some reason, probably lack of necessary libraries and/or headers. Check the mkmf.log file for more details. You may need configuration options. Provided configuration options: --with-opt-dir --with-opt-include --without-opt-include=${opt-dir}/include --with-opt-lib --without-opt-lib=${opt-dir}/lib --with-make-prog --without-make-prog --srcdir=. --curdir --ruby=/opt/td-agent/embedded/bin/ruby --with-geoip-dir --without-geoip-dir --with-geoip-include --without-geoip-include=${geoip-dir}/include --with-geoip-lib --without-geoip-lib=${geoip-dir}/lib /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:467:in `try_do': The compiler failed to generate an executable file. (RuntimeError) You have to install development tools first. from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:552:in `try_link0' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:567:in `try_link' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:753:in `try_func' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:1038:in `block in have_func' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:929:in `block in checking_for' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:351:in `block (2 levels) in postpone' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:321:in `open' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:351:in `block in postpone' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:321:in `open' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:347:in `postpone' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:928:in `checking_for' from /opt/td-agent/embedded/lib/ruby/2.1.0/mkmf.rb:1037:in `have_func' from extconf.rb:8:in `<main>' extconf failed, exit code 1 Gem files will remain installed in /opt/td-agent/embedded/lib/ruby/gems/2.1.0/gems/geoip-c-0.9.1 for inspection. Results logged to /opt/td-agent/embedded/lib/ruby/gems/2.1.0/extensions/x86_64-linux/2.1.0/geoip-c-0.9.1/gem_make.out
な感じのエラーが出て、ハマった。
sudo yum install gcc
で、さっくり解決。
fluentdの設定をする
これで、IPアドレスからアクセス元を検知できるようになったので、fluentdの設定をした
今回は、/var/log/secureに書かれるフォーマットが若干違うログを一括で処理したかったので、それを実現できるように以下の正規表現を書いた。
(?<time>[^0-9]+ [^ ]+ [^ ]+) (?<hostname>[^ ]+) sshd\[.+\]: (?<reason>Failed password for|Accepted password for|Invalid user) (?<user>[^ ]+) from (?<ip_address>[^ ]+).*
これで、
Nov 3 06:05:16 hostname sshd[12893]: Failed password for userA from xxx.xxx.xxx.xxx port 34436 ssh2 Nov 3 12:45:29 hostname sshd[15166]: Accepted password for userB from xxx.xxx.xxx.xxx port 54758 ssh2 Nov 3 12:28:16 hostname sshd[15065]: Invalid user userC from xxx.xxx.xxx.xxx
のログ三種の、タイムスタンプ、ホスト名、成否、ユーザ名、IPアドレスを取得することができる(はず)。
ごり押し感ぱないので、もっとスマートなやり方ご存じの方は教えてください!
まとめると、td-agent.confに以下の設定をいれた。
<source> type tail path /var/log/secure pos_file /var/log/td-agent/secure.log.pos tag geo.ssh.access format /^(?<time>[^0-9]+ [^ ]+ [^ ]+) (?<hostname>[^ ]+) sshd\[.+\]: (?<reason>Failed password for|Accepted password for|Invalid user) (?<user>[^ ]+) from (?<ip_address>[^ ]+).*$/ </source> <match geo.ssh.access> type geoip geoip_lookup_key ip_address <record> country ${country_code['ip_address']} location ${latitude['ip_address']},${longitude['ip_address']} </record> remove_tag_prefix geo. add_tag_prefix es. </match> <match es.ssh.access> type elasticsearch logstash_format true type_name ssh-access include_tag_key true tag_key @log_name flush_interval 20s </match>
たぶんkibana3のときは、国コードで地図に色を塗れたようなんだけど、kibana4では座標が必要なようなので、
location ${latitude['ip_address']},${longitude['ip_address']}
と、fluent-plugin-geoipの機能で、IPアドレスをもとにした座標をログに追加している。
Elasticsearchにデータ型の設定を追加する
kibana4で、地図上にマッピングするためには、fluentdに追加したデータを地図上の座標情報ですよ、と教えてあげる必要があるらしい。
そのため、Elasticsearchのインデックスに、型のマッピング用の設定情報を追加する必要がある。
ただし、fluentd経由で、elasticsearchに情報を投入していく場合(logstash_format trueにしている場合)には、インデックスが日々変わっていき、デフォルト設定では、logstash-(日付)というインデックスに書き込まれていく。
そのため、インデックス自体に型のマッピング情報を登録しようとすると、毎日その情報を登録しなくてはいけない。超めんどくさい。
そういう場合には、テンプレートに登録するやり方がある。登録方法は簡単で、以下な感じでHTTP経由で設定情報を放り込んでやればOK
# curl -X PUT http://localhost:9200/_template/ssh-access-template -d'{ "template": "logstash-*", "mappings": { "ssh-access": { "properties": { "location": { "type": "geo_point" } } } } }'
これで、インデックス名が、「logstash-*」なものの、type_nameが「ssh-access」なものの「location」の型を「geo_point」型にできる。
ただし、適用されるのはインデックスが作成されるときなので、もうすでに今日の分のインデックスがある場合には、次の日まで待つか削除する必要がある。
- before
# curl -X GET http://localhost:9200/logstash-2015.11.03/_mapping/?pretty { "logstash-2015.11.03" : { "mappings" : { "ssh-access" : { "properties" : { "@log_name" : { "type" : "string" }, "@timestamp" : { "type" : "date", "format" : "dateOptionalTime" }, "country" : { "type" : "string" }, "hostname" : { "type" : "string" }, "ip_address" : { "type" : "string" }, "location" : { "type" : "string" }, "reason" : { "type" : "string" }, "user" : { "type" : "string" } } } } } }
- after
# curl -X GET http://localhost:9200/logstash-2015.11.03/_mapping/?pretty { "logstash-2015.11.03" : { "mappings" : { "ssh-access" : { "properties" : { "@log_name" : { "type" : "string" }, "@timestamp" : { "type" : "date", "format" : "dateOptionalTime" }, "country" : { "type" : "string" }, "hostname" : { "type" : "string" }, "ip_address" : { "type" : "string" }, "location" : { "type" : "geo_point" }, "reason" : { "type" : "string" }, "user" : { "type" : "string" } } } } } }
と、locationの型がstringからgeo_pointに変わっていることが確認できた。
kibanaで可視化する
ここまでできて設定データが投入されれば、あとはkibanaでVisualize→Tile Mapを選ぶだけ
Geo CoordinatesのField欄に、geo_pointにしたデータ名が表示されているはず。
表示されず、型がgeo_pointなデータが存在しないよ!と怒られている場合は、kibanaが持っている型データが古くなっているので、「Setting」→「Indices」→使っているインデックスと進み、黄色い更新ボタン「Reload field list」をクリックすれば、型情報が更新され、型がgeo_pointなデータがとれるようになるはず。
感想
3種類のログに対応した正規表現を作るのが大変だった。それさえできてしまえばあとは流れでお願いできたので簡単だった。
もっと取得するログの種類を増やして面白そうな可視化を試してみたい。
サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)
- 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介
- 出版社/メーカー: 技術評論社
- 発売日: 2014/08/08
- メディア: 大型本
- この商品を含むブログ (1件) を見る
我が家の内閣調理大臣が使い勝手の良い自家製調味料2つを紹介します!
我が家では、主に僕が料理は担当しているのだけど、専業ではないから調理にはそこまで時間をかけれない。そんなときに便利なのが調味料だ。
そんな中で特に使い勝手がよく、重宝している自家製調味料2つを紹介します。
今週のお題「愛用しているもの」
にんにく味噌床
先日の記事にも使った味噌漬け用の味噌床
作り方は簡単
材料
- みそ 2カップぐらい
- 酒 大さじ2杯ぐらい
- ニンニク 1つ分ぐらい
作り方
- ニンニクを薄切りにする
- 味噌と酒を混ぜる
- 味噌にニンニクを埋め込む
- 2週間ぐらい寝かす
主に野菜をつけて浅漬けにして食べてる。うずらの卵の水煮をつけたやつもなかなかよいつまみになった。
モノの本によると、水っぽくない野菜をつけた方がよいらしい。それを無視してキュウリや大根など水っぽい野菜ばかりつけていたら御覧のとおり結構水っぽくなってしまった。
水が出た場合はキッチンペーパーで吸い取ったり、味噌を足した方がよいらしい。
とはいえ、味噌は腐らないし、ニンニクのおかげで抗菌効果もばっちりなので、そうそう痛むことはないとのこと。
なかなかヒットだったのが、山芋の味噌漬け。
はじめは塩っ辛いだけだったけど、いろいろつけてるうちにそれらのUMAMIが出てきて、いい具合につかるようになってきている。先日も牛肉をつけたので、またひとつ旨味が増していることだろう。
ニンニク味噌床で作るなめろう
このにんにく味噌床は、漬物だけでなく、いろいろな食材の旨味を吸った味噌なので、味付けにも使える。(ただし、これで味噌汁を作るとちょっとニンニクのパンチが効いた味噌汁になってしまうので、おかずとして食べれる豚汁なんかに使うのがよいと思う。)
特にこの味噌で作ったものの中でヒットしたのが、千葉の郷土料理なめろうだった。
作り方はこれも簡単で、
- スーパーの刺身売り場にある、サンマorアジorイワシなど、青魚の刺身を買ってくる
- 買ってきた刺身を包丁でたたく、たたきまくる
- 大葉なんかも混ぜてたたく
- ニンニク味噌を入れてたたく
ととにかくたたくだけでできる。簡単おいしいおつまみなのでぜひお試しあれ
塩レモン
ご存じ塩レモン。
どうせ一発ネタ芸人よりも早く消えるだろうとはじめは無視していたのだけれども、たまたまカルディで、塩レモン味の鍋スープを買ってみて、なかなかうまかったので、塩レモン自体を作ってみた。
まあ塩なので、レモン汁と同じつもりで使うとかなりしょっぱくなってしまう。
海鮮塩レモン焼きそばや、サーモンのソテーの下味に使うといい感じ
材料
- 塩 たくさん
- レモン 2つ
作りかた
- レモンをよく洗う
- レモンを切る。輪切りとくし切りを両方作っておくと、料理に合わせて選べるので便利。
- 容器に、塩→レモン→塩→レモンとだんだんに積み上げる
- 2週間ぐらい寝かせる
仕込んだときには、こんなにフレッシュだったレモンが、
つけているうちにこんなにトロッとしてくる
はるみ流香味醤油
中にはあまり好評ではないものもある。
料理家の栗原はるみさんがテレビの男子ごはんで紹介していたもので、味はとてもよい。
ただし、冷蔵庫中がにんにくとショウガの匂いに包まれると言われ泣く泣くレギュラー落ちしてしまった。
これはむしろ容器が100均の容器で密閉性がなかったのが原因だと思っているので、もっと密閉性の高い容器を用意してリベンジしたい。
ただのしょうゆを使うよりも香りがぱっと広がるので、これだけで味付けするのではなく、仕上げに入れるのがお勧め。
材料
- しょうゆ 1カップ以上
- ニンニク 1片
- ショウガ 1片
作り方
- 容器にしょうゆを入れる
- しょうゆにニンニクとショウガをつける
- ひと晩ねかせる
最後に
自家製調味料は作って楽しく食べておいしいのでお勧めだけど、調子に乗ってやりすぎると、冷蔵庫を占領してしまうのでほどほどに
- 作者: 松田美智子
- 出版社/メーカー: 河出書房新社
- 発売日: 2014/05/14
- メディア: 単行本
- この商品を含むブログを見る
牛肉のたたきの自家製にんにく味噌漬け
トリックオアトリート!
ハロウィンなんて数年前はなかったのに、最近はバレンタインデーよりも経済効果が高いらしいということで大人気ですね。僕は仮装にもバカ騒ぎにもそこまで興味はないけれども、パーティーシーズンには、なかなか普段出てこないような食材がスーパーに並ぶので好きです。
例えばM字開脚したニワトリさんなんて、クリスマスシーズンでもなきゃ並ばないよね。
そんなわけでパーティーピーポー用に、牛肉のブロックが売られてたので、ずっと作りたいと思っていた牛肉のたたきを作ってみました。
今回のは、レタスクラブ Vol.811(2014年11月25日号)に載っていたレシピをもとに作りました。
- 発売日: 2014
- メディア: 雑誌
- この商品を含むブログを見る
スヌーピーのオリジナルキャンバストートバックもついていて、特別価格450円!と、普段はこういう雑誌は買うとキリがないので、手を出さないでいたんだけど、つい買っちゃった。
まあ、雑誌を買わなくても、この箇所を書いていた人はあちこちに同じレシピを出しているので、これを見ればバッチシわかります。
そんなわけで、詳細なレシピは上のURLを見てもらった方が、プロの内容なのでよいと思うですが、せっかくなので残しておきます。
材料
- 牛肉ブロック
- ニンニク味噌床
作り方
1. 牛肉を冷蔵庫から取り出し、30分ぐらい放置して、室温になじませておく
2. 牛肉がつかるぐらいのお湯を沸かし、お酒を入れて、牛肉を5分ぐらいゆでる
3. 牛肉をお湯から取り出し、粗熱をとり、水気を拭いたらニンニク味噌床につける
4. 10時間ぐらい漬ける
10時間後に取り出して、周りについてる味噌を拭いた牛肉のかたまりがこれだ!
5. 薄く切って、皿に並べ、白髪ねぎを乗せる
6. お好みでオリーブオイルを回しかけ、ネギを巻いて食べる
感想
牛は薄切り肉しか扱ったことなかったから、ブロックを手にしたときは、本当にこれを食べていいんだろうか、って思ったけれど、かなりうまかった。ただ、10時間漬けた割には味噌の風味が薄かったので、もうちょっとつけてもよかったかも(味噌床によると思う)。
なかなかよくできたので、また牛肉が手に入ったらやりたい。
ElasticSearch+Fluentd+kibanaでEFKスタックを作る その1
これまでVPSの監視に、influxdb+fluentd+grafanaを使っていたんだけど、influxdbを0.8から0.9にうっかりバージョンアップしたら、APIの仕様が激変して、これまでのデータ投入用スクリプトが使えなくなってしまった。そのため、これを機に今はやりのElasticSearch+kibanaのコンビネーションを試してみることにした。
ElasticSearchとkibanaを使う場合は、同じ会社が作っているLogStashを使って、通称ELKを構築するのが一般的のようだけど、これまでfluentdを使っていたし、EFKも少なからず存在するようなので、fluentdはそのまま据え置き。
ひとまず一通りインストールして、fluentdで/var/log/messagesと/var/log/secureだけElasticSearchに保存するようにしてみた。
そうすると、こんな感じで時間ごとのログを可視化できた。
grafanaだと、折れ線グラフ、棒グラフぐらいしか作れないけど、kibanaだとどうやら円グラフや地図上でのマッピングもできるらしいので、その辺をやってみたい。
例えば
あたりかな。正直、まだkibanaでどんな表現ができるのか把握しきっていないので、まずはそこから。
↓SSHのアクセス元を地図上にマッピングしてみました。grugrut.hatenablog.jp
サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)
- 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介
- 出版社/メーカー: 技術評論社
- 発売日: 2014/08/08
- メディア: 大型本
- この商品を含むブログ (1件) を見る
Windows10へのアップグレードでPAGE_FAULT_IN_NONPAGED_AREAで失敗する原因を調査する
はじめに
Windows 10がリリースされて、はや一か月。僕も自分のWindows 7を10にバージョンアップしようと挑戦するも、アップデート途中に、PAGE_FAULT_IN_NONPAGED_AREAというエラーメッセージのブルースクリーン(BSOD)とともにロールバックされてしまっていた。
失敗時のメッセージにある、「0xC1900101 - 0x40017」というメッセージでぐぐってもいい対処法が出てこない。
ちょっとずつ構成を変えてみてはアップデートに挑戦して、失敗して、1回の試行の度にもろもろ3時間程度浪費する始末。そんな状態から、一気に解決の糸口を見つけ、無事Windows10にバージョンアップできたのでメモ。
お約束
書いてある通りにやっても、どんな環境でもうまくいくとは限らないので自己責任で。特にメーカー製のPCの場合はサポートが受けられなくなる可能性があるので、メーカー製PCでうまくいかない場合は、公式にアナウンスが出るまで待つのが無難。
(といいつつ、せいぜい3年以内に発売された機器以外は、メーカーもまともに対応しないよなーとは思う)
環境
5年ぐらい前にかった、DELLのInspiron 580。テレビチューナー増設、メモリ増設、それ以外は特に変更なし
事象
バージョンアップ前に実行できる、環境のチェックでは、Windows Media Centerが10では使えないよ、と言われるぐらいで問題なし(テレビチューナーがWindows Media Center経由でテレビを見るやつなので、地味に痛かったけど、最近nasneを買ったので問題なし)。
なのに、バージョンアップを進めていると、デバイスの更新の91%ぐらいでいきなりリブートされ、ブルースクリーン(PAGE_FAULT_IN_NONPAGED_AREA)になってしまう。
いろいろな人がハマってるらしく、エラーメッセージでググるといろいろ出てくる
- CPUとメモリをチェックしろ
- スキャンディスクしろ
- ドライバは全部最新のものにしろ
- USBデバイスはすべて(キーボードとマウス以外)はずせ
- キーボード、マウスもはずせ
- LANは無効にしろ
全部やった。
が・・・・駄目っ・・・・・!
所詮一般論。こんなん信じてたら何にもわからないよ。
これでうまくいった人はおめでとう!
じゃあどうするか
ログをチェックしよう。
10にバージョンアップしようとして、ロールバックされてしまうと、下記のフォルダが作られているはず
C:\$Windows.~BT
これをたどっていくと、
C:\$Windows.~BT\Sources\Panther\setupact.log に求めるログがある。
けどこれはお勧めしない。ログファイルは所詮作った人が読むためのもの。無関係の僕らが読んだって何が書いてあるのか大まかにはわかっても、原因特定につなげるのは難しい。(ググったらこのログみて解決してた人もいた。すごい)
では、どうするか。
実は、
C:\$Windows.~BT\Sources\Rollback
に、setupmem.dmpというファイルがある。これ、ブルースクリーンになったときのクラッシュダンプなのだ。
そして、このクラッシュダンプは、WinDbgというツールで簡単に解析できる。
僕はVisual Studioについてきたのを使っているのだけど、たぶん下記ページからダウンロードできるはず。msdn.microsoft.com
WinDbgをインストールしたらあとは簡単。たった5ステップでPAGE_FAULT_IN_NONPAGED_AREAとなった原因を特定できる。
- WinDbgを起動して、メニューバーの「File」→「Open Crash Dump...」で、先ほどのsetupmem.dmpを読み込む。
- 読み込み後表示されるウィンドウの、コンソール欄に「!analyze -v」と入力してエンター
- そうするといろいろとメッセージがでるけど、出力された内容の上のほうに、PAGE_FAULT_IN_NONPAGED_AREAと表示されていることが確認できる。
- そして、そのしたには該当するエラーになったときに読み込まれたモジュール名などが表示されるけど、これだけだとよくわからないので、MODULE_NAME横のリンクをクリックする
- すると、モジュールの詳細情報が表示される。
僕の環境では、DiXiM Media Serverとかいうアプリが悪さをしていたようだ。調べてみると、テレビチューナーについてきたアプリのようだ。テレビチューナーははずしてしまったので、問題なしとばっさりアンインストール。
その結果、
Windows 10にばーじょんあっぷかくにん、よかった!
これでもダメなひとは、再度クラッシュダンプをチェックして、状況が変わっているかどうかを確認するのがよいでしょう
さらば、evernote food
- 作者: Eric S.Raymond,長尾高弘
- 出版社/メーカー: アスキー
- 発売日: 2007/06/19
- メディア: 大型本
- 購入: 4人 クリック: 91回
- この商品を含むブログ (62件) を見る