DigiLoog

自鯖のグローバルロードバランサ(GSLB)にはgdnsdとdnsdistを組み合わせつつ、
CloudGarageのVPS上に構築していたのだが、
元となるVPSサービス終了によって、何処かに引っ越す必要が出てきた (´・ω・｀)

何故にこの構成を取っていたかと言うと、GLSBを構築した時は通常の権威DNSと、
gdnsdを上手く同居させる術が無かった為、サーバを別立てしていた。
しかし、dnsdistをDNSロードバランサとして動かす事により、
DNSクエリの振り分けが出来る様になったので、権威DNSとGSLBの同居構成も可能となった。

という事でサーバ引越しの第一弾として、CloudGarageのVPSからGSLB切り離しを行いつつ、
“ns-lab BB”のInternet用権威DNSサーバに、グローバルロードバランサも合体させてみた。

“ns-lab BB”のIPv6アドレスはHurricaneElectricからトンネルで調達している為、
接続点となるゲートウェイにはGREトンネルを張れるJuniperSRXを採用している。
年開けにルータが1回不機嫌になったのだが当時はその場で復旧させて様子見をしていたが、
先日の夏コミが終わり一段落した辺りで、このルータが故障して起動しなくなった。

別途出力しているログを解析した所、Junosを保存しているファイルシステムが吹っ飛び、
リカバリすら処理出来ない状態になった結果、
リカバリの再起動がスタックして通信出来なくなっている事が判明した。

メール鯖・DNS鯖は自宅とVPSでハイブリッド構成にしているので、
AAAAレコードをDNSゾーンから消す事で障害復旧したが、
DigiLoog含むWEB鯖は自宅サーバで稼働している事もあり、IPv6接続経路がないのは致命的だった。
さらに、ノートPC・スマホ用にIPv6のみを専用に喋るAPも動いており、
ルータが壊れるとInternetも見れなくなる環境がある為、IPv6接続環境を早めに修復する必要があった。

………

いくら嘆いても、壊れた物が直る訳では無いので代替手段を即検討開始。
上がったのは、

1. 従来通りJuniperSRXを利用
2. VyOSで仮想ルータ化
3. IIJ SEILなど他ルータを入れて環境リプレース

の3択。
最後まで迷ったのだが、VyOSを動かせるリソースが仮想サーバ基板に無い事と、
他ルータに入れ替える際のH/W選定も出来ていなかったので、従来通りJuniperSRXを購入する事にした。

という事で、Juniper SRX100H2を2台買って来た。
常時稼働しているのは1台だが、以前から検証用途にも使いたかった為、今回を機に2台にした。

“ns-lab”には様々な自宅サーバが稼働しているのだが、
その内の2台でClamAVが起動しなくなる事象が出た。
その2台は古めの仮想サーバホストに収容しており、
ClamAVが起動しきる前にsystemdによってdaemonをkillされている事が判った。

ClamAVはパターンファイルのサイズが肥大化しているので、
結果として起動時に読み込むパターンサイズも大きくなっている。
結果、起動する前にsystemdによってdaemonをkillされてしまい、
その後にsystemdによるservice再起動も重なる事で無限ループ状態に陥っていた。

対処は簡単で、systemd全体のタイムアウト時間を延ばすか、
ClamAVのサービスファイルに”TimeoutSec”を追記する。

こうする事で、TimeoutSecの時間はdaemonをkillせずに処理を待つ様になる。
ClamAVが起動しなくなる原因によるが、処理の遅いCPUを使っている場合には効果がある。