2019年04月06日(土) - 21:48 | カテゴリ:
Network
“ns-lab BB”では、Webサーバ用と権威DNSサーバ用の2回線を使っているが、
4月5日早朝に両回線ともにメンテナンスでダウンした。
当初、Webサーバ用回線のメンテナンスしか頭に入っていなかったので少し焦ったが、
蓋を開けたら収容局の回線借用影響だった。
一方、自宅のコアルータではトラッキングとPBRを組み合わせる事で片回線が落ちた時、
もう片方に切り替わるようにルーティング制御も行っており、
グローバルIPを固定化する必要が無い通信は動的に切り替わる構成になっている。
という事で、ルータ変更以来久々に自鯖NW回線が全断したのでルータログを追いかけてみた。
ちなみに、”ns-lab BB”コアルータの構成は下記の様になっている。
コアルータから各ISP越しに2箇所ずつtrackingを仕掛け、ISP越しの通信が全断したらtrackingを落とす。
ファイアウォールはあえてISP毎に1台ずつ設ける事で、セッション増にも対応出来る様にしてある。
今回、収容局近くの回線借用だった為、結局はISPへ接続する事が出来なくなり、
回線が一時的に落ちる形になった。
この回線が全部落ちた時のログがこちら。”boolean or”も仕掛けているので綺麗に6個が落ちた。
Apr 5 03:56:47 Router 563: Apr 5 03:56:46.555 JST: %TRACK-6-STATE: 110 ip sla 1110 reachability Up -> Down
Apr 5 03:56:47 Router 564: Apr 5 03:56:46.555 JST: %TRACK-6-STATE: 120 ip sla 1120 reachability Up -> Down
Apr 5 03:56:47 Router 565: Apr 5 03:56:46.555 JST: %TRACK-6-STATE: 210 ip sla 1210 reachability Up -> Down
Apr 5 03:56:47 Router 566: Apr 5 03:56:46.555 JST: %TRACK-6-STATE: 220 ip sla 1220 reachability Up -> Down
Apr 5 03:56:47 Router 567: Apr 5 03:56:46.571 JST: %TRACK-6-STATE: 100 list boolean or Up -> Down
Apr 5 03:56:47 Router 568: Apr 5 03:56:46.571 JST: %TRACK-6-STATE: 200 list boolean or Up -> Down |
逆に復活した時は下記の通り。今回の借用時間は100～150分だったのだが、
実際には30分程度で工事が完了したのか、無事に接続が復活した。
Apr 5 04:25:58 Router 569: Apr 5 04:25:57.061 JST: %TRACK-6-STATE: 110 ip sla 1110 reachability Down -> Up
Apr 5 04:25:58 Router 570: Apr 5 04:25:57.061 JST: %TRACK-6-STATE: 120 ip sla 1120 reachability Down -> Up
Apr 5 04:25:58 Router 571: Apr 5 04:25:57.061 JST: %TRACK-6-STATE: 210 ip sla 1210 reachability Down -> Up
Apr 5 04:25:58 Router 572: Apr 5 04:25:57.061 JST: %TRACK-6-STATE: 220 ip sla 1220 reachability Down -> Up
Apr 5 04:25:58 Router 573: Apr 5 04:25:57.061 JST: %TRACK-6-STATE: 100 list boolean or Down -> Up
Apr 5 04:25:58 Router 574: Apr 5 04:25:57.061 JST: %TRACK-6-STATE: 200 list boolean or Down -> Up |
ルーティングの方も無事に切り替わっていたのだが、こちらはログがかなり多いので割愛。
ip trackingは挙動がわかりやすいので本業でも使う事が多いのだが、
監視元・NW経路・監視先を全部把握していないと痛い目を見るのが怖い所。
今回も、ISP-A(Webサーバ用回線)のメンテナンス情報は最初から知っていたのだが、
ログを見たらISP-B(権威DNSサーバ用回線)経由のtrackingも落ちていたので、
設定をミスってしまったのか1時間程度コンフィグを追いかける事になった _(:3」∠)_
意外と綺麗にログが取れる物で、trackingログとルーティングの遷移ログをsplunkとかに入れて、
縦串の相関分析をかけると面白い遷移図を出す事が出来る。
“ns-lab BB”はサーバに比重を置いているので、NWログ取得はそこまでやっていないが、
今後はこの辺りにも目を向けつつサーバのオートメーションと、
NWの遷移切り替えを図に出来ると面白いかもしれない。
« 続きを隠す
