Connect :
Uptime :
Primary
6 Days
18 Hour
2 Min.
ns-lab BBは自鯖とConoHaの2拠点体制で運用していたのだが、
自鯖でゲストインスタンスを増やしすぎたからか、
CPU負荷・ディスクI/O負荷が高くなってきており、鯖が応答不能になるのが問題だった。
という事で、今年の初頭からBB設備の入れ替えを行いつつ対策を行っていたのだが、
作業も終盤になり一部のデータを外出しする所まで完了した。
その中、処理速度が必要な物はConoHaに移したのだが、
ディスク容量が必要な物(100～130GB)をどうするかという事で、
ns-lab BB初となる「さくらのVPS」でHDDプランを借りてみる事にした。
自鯖の監視システムは正・副で二重化しているのだが、
正で使っているzabbixのバージョンが2.4のまま放置していたのが気がかりだった。
だが、先日読んだIT記事で「zabbix3.2.0が正式リリースされた」と書いてあり、
流石にメジャーバージョンが2つも上がればバグとかも減っているだろうと思ったので、
時間を見つけてzabbix2.4から一つ飛び越えてzabbix3.2にバージョンアップしてみた。
なんとなく、Windowsのタイルを彷彿させるUIだった。
ns-labのサーバ本番環境は、DNSBL・アクセスログ・ドロップログとかを解析して、
スクリプトで自動的にFWポリシーを生成しiptablesに処理を渡す構成でセキュリティ担保をしている。
と言っても、ログを処理するスクリプトを適当に書いて、cronで回しているだけですが (´・ω・｀)
このスクリプトに「処理が完了したら管理用アドレスへメールを飛ばす」処理も入れてある為、
ほぼ毎日メールが飛んできて、正常にスクリプトが動いてるとかも判別出来るようになっている。
で、先日この完了メールが飛んで来ておらず自鯖を確認した所、iptablesのプロセスが暴走しており、
再現性確認とスクリプト改修の長い旅が始まった…
