DigiLoog

それは突然―――

今までは部屋が暑かった為、CPUファンも『全力全開SB』する必要があったのだが、
ここの所は外気が寒くなりファンを全力で回す必要がなくなってしまった。

そこで問題が発生。

結論は、CPUクーラーの排気ファンが回らなくなってしまった。
ちなみに、CPUクーラーに使っていたファンは
40度以上の環境で40000時間以上は稼働してくれていたご老体。
そして、そんだけ稼働したファンというのは、
軸受けのグリスが固着しだす時期でもあったり(個体差はありますが)。

上記の通り、ファンの回転数が落ちた事+軸受けグリスの固着が相互に絡み合って、
"CPUファンが回らなくなる"という非常事態に陥ってしまった(´・ω・｀)

ファンの回転数を全力固定にすれば使えなくは無いのだが、
鯖でその対処は流石に無かろうと思ったので、交換用のファンを急遽買ってきた。

交換前	交換後

リアファンも結構使っているので、ついでに交換。
その結果、ファンからの異音が無くなり正常に稼働しだした。

………

わけではなく、

何故かOSレベルで起動しなくなるという、さらなる非常事態が巻き起こってしまった(´；ω；｀)
そりゃ、焦りましたよ。自宅鯖とはいえメイン機が動かなくなるんですから

原因としては、RAID1で組んで居るOS用HDDのPrimaryも天に召された為。
そして、Secondaryの方に入れてあるGrubから起動しようとしても、
なぜかMBRを認識しなくて起動が出来ずエラーで落ちるという状況になってしまった。

色々試した結果、

• 昇天したHDDの交換
• マザーボードのCMOSクリアー
• CentOSのNetInstallDiskからセスキューモードで起動 → Grubの再インストール

でなんとか起動させる事が出来た。

しかし、メインでしか動かしていない録画鯖とかは停止してしまっていた為、
某DASH!が録画出来なかったりして、ちょっち影響がでてしまったのが残念。

しかし、色々と学ぶ事も多かった自鯖修復劇でしたとさ。
…そして、あわよくば録画鯖も二重化したいな～　夢は広がる

« 続きを隠す

サブ自鯖とは言え、久々にやらかしてしまった(´・ω:;.:…

事の発端は"ns-lab BB"のサブ仮想サーバのホストOSをCentOS6.6にアップデートした事から。
サブ自鯖ではホストOS上でkvmを動かしていて、検証環境・DNS・監視サーバ・etcが乗っかっていたりする。
で、(仮想サーバ)台数が多く自作スクリプトを一元管理したいという思惑がある為、
ホストOS上にNFSを構築し、そのディレクトリをゲストOSで見る仕組みになっていた。
昨今ならiSCSIなのだろうが、NFSの方が管理が楽なので自分はNFSを使用中

本来なら、kvmホストOSではハイパーバイザーに徹するのが常なのだが、
自鯖民だと物理リソースの限界もあるわけで、主幹系のサービスだけはホストで動かすようにしている。
そうすれば、メイン/サブのどちらかが不調になっても、ゲストOSをコピーする事でサービスを継続可能なので…

で、今回はここの箇所に問題があった(らしい…)

ゲストOSからホストOS上のNFSにアクセスしていると、
ターミナル上にCPUとkernelのエラーが出だして、
10～60分程度放置するとホストOSがログも出さずにいきなり停止してしまった(´；ω；｀)

最初は、NFS周りのバグを疑ったのだが、どうやらkernelの方が原因らしく、
kernelを一つ前の物にロールバックしたら、元通りの安定稼働に入った。
ちなみに、サブ自鯖で使っていたバグ有り(?)kernelは"2.6.32-504.el6.x86_64"

色々調べてみると、極々少数の環境で発生しているらしく、コミュニティに報告がチラホラと…
この事をGentoo使いの友人S氏に聞いてみたら『多分、kernelのビルドオプションミスじゃね?』と言っていた。
恐るべし、Gentoo使いのkernel友達度。

真相まで調べるのは骨が折れるので調べていないのだが、
"迂闊にkernelのバージョンを上げるとドツボに嵌まる"という、自鯖屋にとっては良い経験でしたとさ(´・ω・｀)

"ns-lab BB"のサーバ再度は複数のLinuxディストリビューションを使って構築してあるのだが、
この前MailServerに使用しているサーバでOSのアップデートに失敗してしまい、
応答不能状態=メール停止になってしまっていた(´・ω:;.:…
※メールサーバは平日深夜1:30頃に泣きながら復旧させました

まぁ、原因はパッチ配布元のバグらしいのだが、詳細はわからず終いに。

という事で、世のサーバはWindowsとか、Redhatとか、斜め上を行くならSolarisとかで動いていると思うのだが、
一つのOS(ディストリビューション)に偏って技術を習得するというのは危険なのかもしれない。
『1ディストリが転けたのでシステム全部止まりました!』は洒落にならないので。
最近は、OpenSSL・bashとかOSSの脆弱性が大量に発見されちょるし。

運用面で考えると1ディストリで揃えて、全部同じ構成とかの方が絶対に楽なのだが、これは難しい所か。

なので『bashしか使った事無いからtcsh使えません!』とかだと、色々困る事も起きるのだろうなぁ～と
という事もあって、最近は自分もbash/tcsh/zshを使い分けたりディストリ入れ替えとかを実施したりしちょる。
いくら小さなサーバ群だとしても、踏み台にされる事で他サイトに迷惑かけるのはアカンのでね。

今後はこういう小さな事にも目を向けていかなければいけないのだろうなぁ～～…