DigiLoog

続きを読む »

• CPUモデルのパススルー

特に設定していなければ、ゲストインスタンスから見えるCPUモデル(model name)は、
「QEMU Virtual CPU version (cpu64-rhel6)」の様にQEMU仮想CPUとして見えるのだが、
ホストサーバのCPUモデルをそのままゲストにパススルーしたい場合がある。
そんな時は、ゲストインスタンスの定義用xmlファイルに、
下記の様な設定を追加すればパススルー出来る。

<domain type='kvm'>
  <name>TEST</name>
  <uuid>XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX</uuid>
  <cpu mode='host-passthrough'/>
</domain>

重要なのは [host-passthrough] の設定で、この箇所をdomain要素の中に追記する。
要素自体が無い場合は新規追加した後にdefineして反映させる。
この状態でゲストインスタンスを起動させると、
ちゃんとホストサーバのCPUモデルを取得出来るようになる。

結構古いサーバなので、色々出ているが気にしたら負け (´・ω・｀)
モデル名も取得出来ていると同時に、ホストサーバのCPUをそのままパススルーしている関係上、
バグ情報もそのまま引き継ぐ事になる点に注意。

• ランダムエントロピープールのバイパス

以前の記事にも書いた通り、仮想サーバで/dev/rundomを利用するには、
randomの仕様上エントロピー不足となりハングアップする事がある。
コレを解決するには、havegeを導入したりVirtIOでホストエントロピーをバイパスするのが手っ取り早い。
前回使ったhavegeはデーモン経由でエントロピーを蓄える都合上、デーモンが起動するまでは使えない。
なので今回はVirtIO経由でホストサーバのプールをパススルーしてみた。

<domain type='kvm'>
  <name>TEST</name>
  <uuid>XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX</uuid>
  <devices>
    <rng model='virtio'>
      <rate bytes='4096' period='5000'/>
      <backend model='random'>/dev/random</backend>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x0'/>
    </rng>
  </devices>
</domain>

/dev/randomはデバイスとして提供されている事もあり、設定はdevices要素の中に埋め込む。
細かい注意点としてはslotの16進数指定を他のデバイスと衝突しない様にする。
rateはゲストからホストへの参照リミットなので、ホストのエントロピー充填速度によって書き換える。

• ACPI/APICサポート

似たような名前だが全く別物。
ACPIは電源制御の統一規格で、ホストサーバからゲストインスタンスを
外部コマンドとして安全にシャットダウンする時に使ったりする。
APICはx86アーキテクチャの割り込み処理コントローラで、チップセットレベルでの実装。
細かい所はレジスタ設計・アルゴリズム論などで使うらしい。
自分は入り口辺りしか囓っていないので、詳細はその筋の方に聞いて下さい (´・ω・｀)

要はハードウェア制御をlibvirt APIとして提供する設定一式。
libvirt XMLのドキュメントを見ると色々設定出来るのだが、
自宅鯖のKVMホストはバージョンが低いのでサポートしていない機能が多く未テスト。
その中でテスト出来たのがACPI/APICの二つだったので2項目のみ記載。

<domain type='kvm'>
  <name>TEST</name>
  <uuid>XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX</uuid>
  <features>
    <acpi/>
    <apic/>
  </features>
</domain>

他にもlibvirtで設定出来る項目は色々あるのだが、
ホストサーバを安定重視にしている都合上、
libvirtのバージョンも古めなのでテスト出来ない項目がチラホラと…

幾ら自鯖と言い色々とサービス立ち上げてはいるが、テスト自体が出来ないのは困りものなので、
そろそろホストサーバの刷新を本気で検討しなければならないのかもしれない。
出来ればRHEL8が出た後にしたいがまだまだ先な気もするし、情報収集しながら検討せねば。

………

ちなみに、kernel-4.18.0は絶賛ハマり中。
KVMゲストのCentOS6でビルドは通るのだが、
ビルドしたkernelイメージで起動させるとsplashを表示する直前で勝手に再起動がかかり、
GRUBの選択画面に戻った後、ビルドしたkernelで起動して再起動がかかり…の無限ループ
なんとなく、ACPIの電源管理で転けているか、
ASLR/KASLR辺りでメモリ管理が上手く出来ず勝手に電源が落ちている気が…
ただ、CrashDumpが出ないわ、PanicLogも出ないわでお手上げ状態 ヽ(´ー｀)ノ

ぶっちゃけ、こっちの方が深刻なので是が非でもクリアしたい所。

« 続きを隠す

続きを読む »

• コンセプト

刷新前はメールゲートウェイが4台、ユーザアクセス用が1台、メーリングリスト用が1台の計6台構成。
メーリングリストはそれ程使っていないので現状維持で良いとして、
問題はユーザアクセス用のMUAサーバが1台であった事。
要するに、鯖がトラブるとメールが読めなくなるのを解消したかった。

メールゲートウェイは権威DNSも兼ねているので、増減含めた構成変更は行わないとしつつ、
外部送信時のSMTPS対応・DKIM署名のチューニングなど改善系を行った。
その他、修正したいポイントとしてはサーバ間接続用のVPNが切れるとメール配送が遅延するので、
SMTPSを活用しつつInternet周りで直配送に切り替えたかった。

クライアント系の課題としては、
Sylpheedを入れたPCが3台、スマホが2台、タブレット1台と色々端末が存在するので、
メールの振り分けルールを個々に設定しなければいけないのが、超絶面倒臭かった。
なので、今回を機にMUAはWebメールクライアントに移行し、
フィルタリングもsieveを用いてWebメールクライアントから一括管理出来る構成にした。

という事で色々と要件・(自分の)要望が出そろった結果、
大方針は自鯖に依存しない構成に落ち着いたので、
『VPS上のサーバを活用しつつ、WEBクライアントにレンタルサーバも使う』事とした。

• 全体構成

今回は中々にデカイ構成になった…
恐らく、自宅の仮想ホストサーバ並に複雑な気がする (´・ω・｀)

サーバ台数と用途は左下に書いてある通り。
契約上だと、VPSが6台・仮想鯖が4台・レンタルサーバが2台の合計12台 ﾍ(ﾟ∀ﾟﾍ)
ただ、専用サーバでは無くアプリを色々と同居させているので新規契約はレンタルサーバのみ。

メール系の構成には書いていないが、以前構築したgdnsdを使って、
上手い具合に拠点レベルでの冗長化を保つように設計した。
ただ、GSLBを使って拠点冗長化を行うと、WebメールのHTTPSセッション維持が難しくなるので、
gdnsdのフェールオーバー機能を用いてActive/Standby動作させる事で参照先を1サーバに限定し、
セッション維持出来るように構築した。

• 構築手順

今回は使った事の無いアプリを導入したので詳細までメモしておいた。
普段は簡単にメモしてから内容を微修正しているのだが、
最初からガッツリと内容を作った後にメモを作成した。

1. wiki – gdnsd
2. wiki – GlusterFS
3. wiki – Postfix
4. wiki – Rspamd

………

実は、当初メール鯖を完全廃止してレンタル鯖にMXレコードを向けるのも検討していたが、
一応は技術者である事と、Linuxで新しい事に挑戦したかったので基幹サーバは自前で構築した。
ただ、10年以上前に使ったきりのレンタルサーバ事情も知りたかった為、
レンタルサーバを契約した経緯があったりする。

そして、要となるレンタルサーバは色々と悩み、ZenlogicとCORESERVERの二つに絞り込んだ。
最終的には、2サイトで稼働が出来る事と過去の実績を考えてcoreserverにした。
そして、CORESERVER契約後にZenlogicの方で大規模障害が起きていたので危なかった….

………

今回、一番苦労したのはGlusterFSのチューニングだった。
MTA(Postfix)自体は本職のサーバ構築で何回も使っている事もありすんなり終わった。
MUAからサーバに接続してメールを読む際、ディスクI/Oが遅いとアクセスがもっさりするので、
今回は如何にサーバ負荷を下げつつディスクI/Oを確保するかに注力した。
最終的には設定をRead重視に寄せる事で、Webメールから接続した際のディスクI/Oを確保した。

………

スパムフィルターは今までbogofilterと自作スクリプトで賄っていたが、
今回サーバを作り直すにあたり違う物を入れようと画策していた。
そんな事を思いつつ情報収集していたら、ニューラルネットワーク学習に対応しつつ、
従来の重み付け学習も出来るRspamdを見つけたので即採用。

今回はGW側でDKIM対応しているので使っていないが、
RspamdはDKIM検証・署名も出来たり、sophosと組み合わせるとウイルスチェック可能。
唯一の欠点が日本での採用例が少なくググっても見つからないので、
マニュアル(英語)をGoogle翻訳片手に読み解く必要があった。

ちなみに、RspamdはバックエンドにはRedisを用いる事も出来るが、
VPSだとインメモリDBを使う程メモリが無いので今回はSQLiteにした。
SQLiteだとRedisと比較して微妙に遅くなるが、
スクリプトで一気に学習処理をさせた時位しか影響が無いので、
個人利用ならSQLiteでも問題ないと思う。

………

Webメールクライアントは、RoundCubeとRainLoopで相当迷った。
今回はレンタルサーバで稼働させる都合上、軽いアプリを使いたかったのと、
自鯖と比較して自由度が下がるレンタルサーバで細かい事をやりたくなかったので、
構築が楽で挙動もシンプルなRainLoopを採用した。

RainLoopは設定で癖の強いソフトだが、sieveを使ったサーバサイドフィルタリングにも対応していたり、
マルチアカウントも使えるので、最終的にはRainLoopを採用して正解だった。

UIとしてはGmailに似ている。
アクセスはそれなりにサクサク動き、メール読込みで2秒以上待たされる事は無かった。

………

色々と試行錯誤しつつ構築した結果、本気で取りかかってから2ヶ月かかってしまったが、
中々使い勝手の良いWebメールシステムが出来上がった。

お金かかる・時間かかる・セキュリティ対策が大変と、万人には絶体お勧め出来ないが、
Linuxでシステム構築が出来る人のステップアップとして、メール鯖をチョイスするのは良いと思う。
特にメールはサーバ・DNS・ミドルウェア・配送設計・セキュリティと学ぶ事が多く、
普段使いすれば課題が出ても解決せざるを得なくなるので躍起にやれるのも良いと思う。

クラウド・SaaSやらが台頭する中、オンプレで構築する事は皆無だと思うが、
基本知識を知っといて損は無いので経験積むのは良いと思う。
さらに言うと、オンプレの構築ノウハウがあればクラウド・SaaS移行時にも応用が利くので。

なので、今回は昨今の事情を無視しつつVPSでメールシステム刷新をやったのでした。

« 続きを隠す

続きを読む »

Google翻訳片手に頑張った自力解釈なので、間違いがあってもごめんなさい。

ちなみに、下記方法を使っても今回の問題は解決出来ないのであしからず (´・ω:;.:…
理由は最近わかったのだが、問題となっている “crng_init” はkernel読込み時に参照するコードであるが、
下記の方法はkernelが起動した後のOS階層で実行される為、そもそもタイミングが違うらしい。

• TPM (Trusted Platform Module)
  rngdから「-o /dev/random -r /dev/my_hw_random_device」の様に定義して利用する
  ノートPCに搭載されているチップで、TPM内で公開鍵を作る事も出来る
  20KB/s程度のエントロピーを作れるらしく、TPMを搭載しているならば有用な手段
  　
• HAVEGE (Hardware Volatile Entropy Gathering and Expansion)
  daemonが/dev/randomのIOに直接エントロピーを提供するらしい
  多くのディストリビューションでパッケージが提供されているので手軽に実装出来る
  　
• bcm2708-rng / bcm2835-rng
  Raspberry Piで使える手法。ラズパイのバージョンによりチップも変わる
  kernelで [bcm2708-rng (bcm2835-rng)] モジュールを呼び出した後、
  rngdを起動する事で/dev/randomのエントロピー収集元として、
  /dev/hwrngを参照するようになる
  　
• NeuG (True Random Number Generator)
  A/D変換器のノイズをエントロピーとして利用する
  A/D変換を使う為ハードウェアが必須となり、FST-01Gが存在する
  　
• VirtIO RNG
  仮想環境はハードウェアに直結する実装が少ない為、エントロピーが不足しやすい
  「だったら、ホストOSのエントロピーをパススルーする」のがVirtIO RNGの手法
  libvirtで利用するならコチラのサイトでXMLの設定方法を紹介している

………

乱数エントロピーは色々な種類があり、超高価な物なら核反応の分裂数を使ったりもするらしい。
調べればもっと出てくると思うが、個人レベルで入手出来る物だとNeuG辺りになるのかもしれない。
後はRaspberry Piに搭載されているBCM2708も良い乱数元になりそう。
どれを選ぶにしても本来の目的であった “crng_init” 制御には使えないのだが、
/dev/randomのReadLockはハマると怖いので動作仕様を把握しておこうと思う。

« 続きを隠す