Connect :
Uptime :
Secondary
4 Days
11 Hour
54 Min.
ns-labのバックボーンは自鯖を軸にしているのだが、
稀に回線・サーバメンテで意図的に停止させる事があった。
その時の接続性を維持する為にConoHaでVPSを借りたのが最初なのだが、
使ってみると自鯖には無い面白さを実感してきたので規模を着々と拡大させていた。
そんな中、ひょんな事からGSLBとIPv6に手を出し始めた所、
地域的に近いと変化が少なく勉強にならない事があったり、
そもそも関西の方にもVPSを(なんとなく)立ててみたかったので探し出してみた。
そんな事を数ヶ月行い、最終的に残ったのがABLENETのVPSサービスだったので、
とりあえず1年間の契約を行ってみた。
自鯖環境はLinuxホスト2台の冗長化構成(非ライブマイグレーション)で組んでいるのだが、
ホスト2号機の方で意図しないシステムダウンが発生する事があり原因究明を頑張っていた。
古いKernelを使うと何故か事象が発生しない事から、とりあえず古い物を使い続けていたのだが、
先日公開されたCentOS6.9の事もあり、流石にKernel上げないのも限界を感じてきたので、
strace使ったりして本気で原因究明をやってみた。
結果、恐らくこれだろうという所まで切り分けが出来たので、
ワークアラウンドを実施した所、今の所は事象が発生していない事から備忘録を残しておく事に。
細かい設定は上のwikiに書いたが、少しだけ解説。
と思ったが、もっと詳しい事がコチラにかいてあった。
要するにPCI-Eの省電力機能を使うと、Kernelのバグに当り勝手にシステムハングアップしてしまう。
最近のマザーボードだと、通電時に自動的に電源ONする物があり、
「ハングアップ ＞ 電源OFFと判断 ＞ 自動再起動 ＞ エンドレスループ」
になって、超絶不安定なシステムになってしまう (´・ω:;.:…
色々な組み合わせがあると思うが、自鯖環境で発生したのは下記のような組み合わせの場合だった。
この時にゲスト側からASPMの省電力化が実行されると、
サーバホストがゲストOS全体も巻込みながらシステムダウンした (´；ω；｀)
………
回避するのは簡単で、ホストOSでPCI-E ASPMを無効化すれば良い。
『ASPMを無効化して大丈夫なのか』と言われそうだが、サーバで省電力化を優先し、
PCI-Eが勝手にOFFになる方が問題(NICボード停止など)なので、ASPMを無効化する事をオススメする。
無効化するには、GRUBのkernelパラメータに "pcie_aspm=off" を追記してOSを再起動する。
GRUB2の場合はwikiに書いてあるのでそちらを参照の程…
2年前から冗長化構想はあったのだが、自分の知識が足りずActive/Standbyかつ、
何かっあたら手動で切り替えを行っていたWeb自鯖…
だが、昨年に自鯖基盤を刷新した事で色々と準備が整ったので、
念願のActive/ActiveのWebサーバ構成に変更してみた。
今までのDigiLoog鯖ステータスでは、サーバ稼働時間しか表示してなかったのだが、
今回の構成変更に伴い、Primary/Secondaryを表示するようにしてみた。
 |
 |
 |
