DigiLoog

“ns-lab”の自宅鯖と本番用仮想ホストの間はIPSec VPNで拠点間接続をしている。
ネットワーク構成も2面構成を取っておりルータが1台落ちた程度では止まらないのだが、
今日はシステム障害が2発同時に起こり一時的に落ちてしまった。

監視に用いているzabbixが2拠点で二重監視しているから気づけたのだが、
物理的な回線障害とプロバイダ障害が同時に起きた様なダウン状態だった。
通常はpingが20ms程度なのに、復旧後から1時間程度は60～80msまで遅延していたので、
バックボーンが乗っている足回り自体も一時的に混雑していたのかもしれない。

実際にzabbixで捕捉していた監視データがこちら。
応答無しで0msに落ちた後、IPSec VPNが再接続され経路交換が終わった後、
落ちる前と同じ最短経路を通っているにも関わらず80msまで増えていた。

システム障害の情報から2発同時のシステム障害と判断したが、
メンテナンス以外では落ちない様に設計をしていたので貴重な経験になった。
本職で起きたら蒼白だが、自宅鯖だからこそ勉強にも使えるのが良い。

控えめに言って汚い中古REALFORCEを安く売っていたので少し前に購入していた。
REALFORCEで良く起きるバックプレートが錆びていたり、
キートップには汚れがこびり付いていて普通の人は買わない位だった。

だが、汚れ意外の状態は非常に良くて打ち心地も新品同様なのと、
キーのへたりも感じなかったので自宅で分解洗浄する事とした。

1週間かけて全キートップを丁寧に水洗いし、
キーボード本体も無水アルコールで徹底的に汚れを除去。
2週間乾かしてやっと組み立てフェーズに入る事が出来た。
キーボードの動作検証までは出来ていないので、直近の連休を使ってテスト予定。

職業柄、キーボードは常に触っているのでお金がかかっても良い物を使う用にしているが、
一度気に入った物に出会うと、中々他のキーボードには移れないのが困り物。
そんな時は中古で仕入れて自力で直すしかなくなるので、人によっては必須スキルだと思う。

最近はProxmoxばかり弄っていたので、
iSCSIデータストアとして利用しているNASを放置していた。
時間が無くて年始メンテが出来なかった事もあり、比較的時間がある今の内に弄る事にした。

適用していなかったパッチを当たる所からスタートして、
最終的にオブジェクトストレージの整理も実施予定。
10Gbps×2本で直結しつつiSCSIをマルチパスにして冗長化すれば無停止メンテが可能だが、
ストレージは出来る限りシンプルにしたいので現状構成を維持する方針。

というのも大昔にGluster FSを弄っていた時期もあったが、
使いこなすには潤沢なサーバリソースとスキルが必要となり趣味には適さないと没にした事がある。
その時、特に思ったのがストレージがトラブると全体に派生するので非常に面倒になる事。
今は消したらマズいデータもあるのでストレージだけは安定重視でメンテせねば。