DigiLoog

2年程前に自宅仮想サーバのディスクイメージを、iSCSI化した “QNAP TS-853S Pro” に移行済だったが、
ディスクロードが大量に発生するZabbix+MySQLは、
敢えて仮想ホストのローカルハードディスクに残したままだった。

というのも、今までは監視対象が少なかったのでローカルに残しても問題無かったのと、
同サーバにキャッシュDNSも相乗りしていたので、
全てをiSCSIに依存させた結果、NW断で全滅しかねない構成にするのは二の足を踏んでいた。

だが、昨今の “ns-lab BB” では仮想サーバが順調に増加しつつIoT機器も増えてきた為、
結果として監視対象増加と比例してDB負荷も上がっていた。
その為、HDDのランダムアクセスではZabbixのデータを格納するMySQLの処理が追い付かなくなり、
システムがスタックして仮想ホストも巻き込んでサーバ全滅が発生していた。

………

そんな折、音楽ファイル・テレビ録画データで使っていた “Drobo FS [1st Gen]” も老朽化している事に気付いた。
普通のデータコピーなのに1GbpsのLANで30Mbpsしか出なかったり、
重要なデータはバックアップ済と言っても、データが飛ぶと取り返しの付かないレベルの物があったり、
経験上、大体の機器は5～10年で壊れるので保全の意味でも早めになんとかしたいのが心情だった。

そんな事を思いつつ『次期NASでiSCSI喋らせつつ、一般用途も兼用したい』と1年程NASを物色していた所、
既にお世話になっているQNAPでHDD+SSDを最大9台まで積めるNASが発売された。
『これだったら、SSD領域に仮想サーバイメージ配置。HDDに一般用途のデータ置ける！』と思い立ち、
さらに構成を練る事3ヶ月、30万以上の金を掛けて “QNAP TS-932X” を買って来た。

NASは自作のパッチパネルもどきを使ってL2SWとEtherChannelで接続。
NAS本体は吸気口を確保する為に板を使って底上げした。

ちなみに、NASを購入したのは2018年末だったのだが初期不良品を引き当ててしまい、
ログ取得やら初期不良交換の対応をした結果、実際に使い出したのは2月初だったりする (´・ω・｀)
ただ、購入した物がフ○ースメディア正規品だった事もあり、サポートとやり取りしながら無事に対応完了した。

2019年一発目の月末エ○ゲの日は1月25日に開催だったのだが…
自分が予約していた物が毎度の如く全て延期してしまったのでスキップしてた。
その中でも例外的に延期の結果1月中に発売した「さくら、もゆ。」をGETしてきた。

毎回のソフマップで購入。
タペストリーも初回特典で付いてきたが写真撮るのを忘れた (´・ω・｀)

先日、明確な原因は調査しきれていないのだが、ブログ(DigiLoog)が参照しているMySQLで、
Master/Slaveのレプリケーションが外れ、丸一日程ブログを見れなくなる事態が発生した。

復旧はwikiにメモしてある通り、マスター側のDBダンプをスレーブでインポートし、
再レプリケーションをする事で復旧した。
直帰でDBを弄った事と言えば、エラーログ・スローログ出力を有効化したのだが、
コレが原因なのかは左記の通り追い切れていない。

今回の障害で判ったのは、復旧手段を確立出来ている事の安心感と、
apacheが一度MySQLへの接続を握ったら、Slave側に向け直す為に再読込が必要になる事。
アプリケーションによっては、シームレスに切り替えが出来るかもしれないが、
単純な三階層構造を取っているDigiLoogでは自動切り替えが上手く動かなかった。

本気でやるなら、シングルマスタークラスタリングを組むか、
Active/StandbyでMySQL Routerを挟み込む必要がありそう。
直近で大きな構成変更をする余裕は無いが、今後の課題としてメモに残そうと思う。