DigiLoog

続きを読む »

今回更新したのは↓の通り。ポイントとしては「ギガビット化＆省電力化」でやってみた。
最初はコアルータをCisco C892Jに変更予定だったのだが、
排熱問題があったり(892は改造して解決)、PBRが必要だったり(1812はライセンス対応済)、
C1812Jでないと出来ない事が多いのが判ったので、1812をこのまま使い続ける事にした。

あと、C891FとC1812Jは横幅が同じなので、
重ね置きした場合に見栄えが良くなるというのも、C1812J続投理由の一つだったりする。

今回は限定して入れ替えたので、次のフェーズとして他機材も入れ替え予定。

………

上から順番に、

• ASA5510
• Cisco 1812J
• Cisco 891F
• Catalyst 2960S

主に内部でパケット転送を行っているのはこれらの機器。
今回の機材更新でこのラック(仮)の入れ替えは全部完了した。

他にも、仮想サーバのiSCSI領域増設とか、
ISP接続用FWの入れ替えとかが残っているのだが、
追加機器とか予算の都合で1ヶ月程は入れ替える事が出来なそう (´・ω・｀)

そっちの方は更新が完了次第、改めて紹介したり、
そもそもの、"ns-lab BB"全体構成を起こそうと思う。

………

今回どうしても入れたかったのが、このSFPモジュール群。
MMF光は本職でも扱った事がほぼ無いので、「自宅ぐらい折角ならば」と導入。
GLC-Tは本職で使った事が何回かあるのだが、以前から使ってみたかったので買ってみた。
…結局の所、一番の目的はSFPスロットを全部埋めたかっただけだったりする

ちなみに、同規模の入れ替えがあと1箇所(ISP接続点)が残っているので、
引き続きこちらの入れ替え作業を継続せねば…
そして1年以上構成を練っているiSCSI領域の事も進めないと (；´Д｀)
 

« 続きを隠す

続きを読む »

ちなみに、今回発生した問題を纏めると下記のような現象が起きた

• iptablesポリシーを5,000～30,000程度読み込ませている最中にハングアップし、
  プロセスのCPU使用率が100%になる
• ハングアップすると、"Another app is currently holding the xtables lock"のエラーが出力され、
  iptablesのポリシー変更が出来ない
• ハングアップすると、"kill -9"や"killproc"によるプロセス停止も出来ない
• サーバ自体の再起動は普通に出来る

ただし、確実な再現性があるのではなく、
発生する時としない時があったので問題箇所を特定するのに時間がかかってしまった。

………

結論から書くと、netfilter/iptablesのプロセスが起動している時に、
"iptables -A"とか"iptables -I"で大量のポリシー追加を一気に行うと発生する確率が高いという、
漠然とした事だった。

先の自作スクリプトでは、一度起動したプロセスにスクリプトでポリシー追加・削除を行っていた。
丁度問題のあった日は、前日にFWポリシー基礎ルールを改良した後であり、
問題が判った日に12,000行のポリシー変更が走り今回の問題が露見した。

色々と調査した所、ハングアップが発生しないディストリとiptablesバージョンがあったり、
そもそも逐次追加ではなく、プロセス起動時から30,000行読ませればハングアップしない事から、
今回の問題はバグというよりも、デフォルト設定がどこか違う為に起こったのかも知れない。

ちなみに、ハングアップの再現性が高い事を確認出来た環境は、
"openSUSE Leap 42.1/iptables v1.4.21"の組み合わせで、CentOS7・Debian8とかでも稀に発生した。
この辺りは100%の再現性が確認出来なかった事もあり、
一概に『openSUSEが悪い!!』という事では無さそうという事までしか判らなかった。

………

今回の問題は完全な再現性が無いので、netfilterにbugzilla報告出来ないし、
そもそも自作スクリプトも微妙な設計であった結果のハングアップなので、
スクリプトを改修する方針でお茶を濁し、
大幅なポリシー変更が発生したらプロセス再起動によるポリシーファイル再読込で対処する事にした。

外部ポリシーファイルはディストリ毎に微妙に違っており、

• CentOSは、"/etc/sysconfig/iptables"
• openSUSEは、"/etc/sysconfig/SuSEfirewall2"

の様になっている。
openSUSE版の変更内容は、技術wikiにメモしたのでそちらをご確認くださいな。

そもそも、iptablesに数万ポリシーも突っ込むのが色々とマズイ気がするが、
今回の問題以外は特に大きな事が起きていないので経過観察を継続しようと思う。

« 続きを隠す