DigiLoog

サブ自鯖とは言え、久々にやらかしてしまった(´・ω:;.:…

事の発端は"ns-lab BB"のサブ仮想サーバのホストOSをCentOS6.6にアップデートした事から。
サブ自鯖ではホストOS上でkvmを動かしていて、検証環境・DNS・監視サーバ・etcが乗っかっていたりする。
で、(仮想サーバ)台数が多く自作スクリプトを一元管理したいという思惑がある為、
ホストOS上にNFSを構築し、そのディレクトリをゲストOSで見る仕組みになっていた。
昨今ならiSCSIなのだろうが、NFSの方が管理が楽なので自分はNFSを使用中

本来なら、kvmホストOSではハイパーバイザーに徹するのが常なのだが、
自鯖民だと物理リソースの限界もあるわけで、主幹系のサービスだけはホストで動かすようにしている。
そうすれば、メイン/サブのどちらかが不調になっても、ゲストOSをコピーする事でサービスを継続可能なので…

で、今回はここの箇所に問題があった(らしい…)

ゲストOSからホストOS上のNFSにアクセスしていると、
ターミナル上にCPUとkernelのエラーが出だして、
10～60分程度放置するとホストOSがログも出さずにいきなり停止してしまった(´；ω；｀)

最初は、NFS周りのバグを疑ったのだが、どうやらkernelの方が原因らしく、
kernelを一つ前の物にロールバックしたら、元通りの安定稼働に入った。
ちなみに、サブ自鯖で使っていたバグ有り(?)kernelは"2.6.32-504.el6.x86_64"

色々調べてみると、極々少数の環境で発生しているらしく、コミュニティに報告がチラホラと…
この事をGentoo使いの友人S氏に聞いてみたら『多分、kernelのビルドオプションミスじゃね?』と言っていた。
恐るべし、Gentoo使いのkernel友達度。

真相まで調べるのは骨が折れるので調べていないのだが、
"迂闊にkernelのバージョンを上げるとドツボに嵌まる"という、自鯖屋にとっては良い経験でしたとさ(´・ω・｀)

"ns-lab BB"のサーバ再度は複数のLinuxディストリビューションを使って構築してあるのだが、
この前MailServerに使用しているサーバでOSのアップデートに失敗してしまい、
応答不能状態=メール停止になってしまっていた(´・ω:;.:…
※メールサーバは平日深夜1:30頃に泣きながら復旧させました

まぁ、原因はパッチ配布元のバグらしいのだが、詳細はわからず終いに。

という事で、世のサーバはWindowsとか、Redhatとか、斜め上を行くならSolarisとかで動いていると思うのだが、
一つのOS(ディストリビューション)に偏って技術を習得するというのは危険なのかもしれない。
『1ディストリが転けたのでシステム全部止まりました!』は洒落にならないので。
最近は、OpenSSL・bashとかOSSの脆弱性が大量に発見されちょるし。

運用面で考えると1ディストリで揃えて、全部同じ構成とかの方が絶対に楽なのだが、これは難しい所か。

なので『bashしか使った事無いからtcsh使えません!』とかだと、色々困る事も起きるのだろうなぁ～と
という事もあって、最近は自分もbash/tcsh/zshを使い分けたりディストリ入れ替えとかを実施したりしちょる。
いくら小さなサーバ群だとしても、踏み台にされる事で他サイトに迷惑かけるのはアカンのでね。

今後はこういう小さな事にも目を向けていかなければいけないのだろうなぁ～～…

JPCert：GNU bash の脆弱性に関する注意喚起

2週間位前から騒ぎになっているBash脆弱性なのだが、
これが予想以上に大事になってきちょる模様。

というのも、コレの場合簡単に脆弱性を突く事が可能なので、
誰でも簡単にスクリプトキディになる事が出来てしまう。
実際、自宅の仮想テスト環境に対してやってみたら3行程コマンド打って再現出来てしまった。

ちなみに、自宅のログに残っていたリアルWANからの脆弱性試行ログがこちら

こういう時、マスクかけるべきか、IPモロ出しにするべきか迷う所(´・ω・｀)

まー、Linux弄った事ある人なら上のログを見れば
『あぁ。なるほど』と思うような事を色々試行しているキディさん。

こんな僻地の自宅サーバにまで来ちょるので、大手サイトは嘸かし大変なんだろうな…
どちらにしろ、"脆弱性対応していない自鯖管理者は即座に対策打ちましょう"という事だわね(｀・ω・´)