DigiLoog

“ns-lab”の自宅鯖と本番用仮想ホストの間はIPSec VPNで拠点間接続をしている。
ネットワーク構成も2面構成を取っておりルータが1台落ちた程度では止まらないのだが、
今日はシステム障害が2発同時に起こり一時的に落ちてしまった。

監視に用いているzabbixが2拠点で二重監視しているから気づけたのだが、
物理的な回線障害とプロバイダ障害が同時に起きた様なダウン状態だった。
通常はpingが20ms程度なのに、復旧後から1時間程度は60～80msまで遅延していたので、
バックボーンが乗っている足回り自体も一時的に混雑していたのかもしれない。

実際にzabbixで捕捉していた監視データがこちら。
応答無しで0msに落ちた後、IPSec VPNが再接続され経路交換が終わった後、
落ちる前と同じ最短経路を通っているにも関わらず80msまで増えていた。

システム障害の情報から2発同時のシステム障害と判断したが、
メンテナンス以外では落ちない様に設計をしていたので貴重な経験になった。
本職で起きたら蒼白だが、自宅鯖だからこそ勉強にも使えるのが良い。