DigiLoog

続きを読む »

参考サイト

• Kaspersky > SquidサービスでのSSL Bumpの設定
• 技術メモメモ > SquidのSSL Bumpを使ってHTTPS(SSL)通信を可視化する
• Mailing lists > [squid-users] SSL_bump and source IP

SSL複合化を仕込むのはSquidだが、
前段にリバースプロキシ型の負荷分散装置を挟んでいるので一種の多段Proxyと同じになる。
この良くある負荷分散構成がクセ物で、通信次第でアクセスログを正しく記録出来ない場合がある。

Squidが負荷分散装置配下で動いている場合、
HTTPヘッダに追加されたX-Forwarded-Forを参照する事でクライアントPCのIPを識別するのだが、
SSL複合化をした時点でクライアントPCのIPがパケット上は無くなるらしく、
クライアントのIPではなく負荷分散装置のIPになる場合が出てくる。

エンタープライズ環境でアクセスログのIPが正しく記録出来ないのは大問題だが、
今回は自宅サーバなので深追いはせずに使ってみた。

………

前述の通りロードバランサはSSL通信をそのままバイパスさせて、
SquidでSSL Bumpを設定する事でSSL複合化を実装したのだが、
この構成の大きな課題はSSL複合化・再暗号化の処理をSquidで実装する所にある。
ぶっちゃけ、どれだけCPUコアを積んでも処理が確実に追いつかなくなる。

SSL複合化は設定せず、秒間30セッションのSSL通信を普通に処理している状況が上の画像となる。
CPUコアは2コアでメモリは6GB積んだサーバでテストしてみた。
Squidの負荷が高騰するのは新規セッションが張られた時なので、
SSL通信をCONNECTメソッドで素通ししているだけなら以外とCPU負荷は高騰しない。
大容量通信を流すとCPU負荷も上がるが、パケットを捌いている影響なので問題とはちょっと違う。

コチラが同条件の秒間30セッションを出しつつSSL複合化を実施している時の負荷状況となる。
2コアなので負荷がかかりやすい環境ではあるが、平常時とは比にならない高付加になっている。
CPUコアを増強してSquidのworkerをCPUコア最大まで増強すればある程度緩和が出来るが、
CPU負荷が上がってしまう点はどうしようも無いので完全解消にはならない。

分かっていた事だが、SquidでSSL複合化を実施するにはサーバと負荷分散が前提となる。
今回は自宅サーバだから適当でも良いが、
それを加味しても負荷が高すぎて使い物にならないので、宛先を限定してSSL複合化する事にした。
コレが意外と大変でログが記録されない問題と戦いながらテストしたら年末年始が溶けた (´・ω・｀)

………

年末年始を使って調査した特定の宛先のみSquidでSSL複合化をする設定は次の通り。
細かい部分はググれば出てくるので割愛するがバックスラッシュの部分を1行で書けば動く。
設定が出来たら意外とあっけなく、SSL Bumpをpeek・bump・spliceに分割するだけで動いた。

acl step1 at_step SslBump1
acl sslbump dstdomain .example.co.jp
acl sslbump dstdomain .example.ne.jp
 
http_port 8080 tcpkeepalive=60,30,3 ssl-bump generate-host-certificates=on \
    dynamic_cert_mem_cache_size=16MB                                       \
    tls-dh=prime256v1:/usr/local/squid/etc/dhparam.pem                     \
    cert=/usr/local/squid/etc/squid.crt                                    \
    key=/usr/local/squid/etc/squid.key                                     \
    cipher=HIGH:MEDIUM:!LOW:!RC4:!SEED:!IDEA:!3DES:!MD5:!EXP:!PSK:!DSS     \
    options=NO_TLSv1,NO_SSLv3,NO_SSLv2,SINGLE_DH_USE,SINGLE_ECDH_USE
  
sslcrtd_children 5
sslcrtd_program  \
    /usr/local/squid/libexec/security_file_certgen -s /var/squid/sslcrt -M 16MB
 
sslproxy_cert_error allow all
ssl_bump peek       step1
ssl_bump bump       localnet sslbump
ssl_bump splice     all

サンプルではACLにlocalnetを設定しているが、SSL複合化をしたいクライアントIPのACLを作り、
localnetの部分を差し替えれば複合化対象を限定する事も出来る。
この辺りのACL基本構文はSquidのACL挙動と同じだった。

………

設定が出来た後に問題になるのは、SSL複合化をする宛先ドメインのリスト化となる。
Webブラウザのアクセス先がwww.example.co.jpだとしても裏では様々な所にアクセスしているので、
SSL複合化対象には全部登録する必要がある。
Squidのアクセスログから調査しても良いが面倒なのでSSL証明書のSANsからぶっこ抜いた。

次の様なコマンドで証明書のSANsをリスト化出来るのでコレを元にスクリプトを組めば良い筈。
しかし、Squidは1個のACLに重複したドメイン・サブドメインがあるとエラーになるので、
上位ドメインが登録されていないかチェックする機構が必要になる。
筆者は手抜きしたかったのでSquidの書式チェックコマンドで都度確認してみた。

openssl s_client -connect example.co.jp:443 -showcerts < /dev/null \
    openssl x509 -text | fgrep DNS | tr ', ' '\r\n' |              \
    sed -e "s/DNS://" -e "s/^\*//" | sort -nf

www.yahoo.co.jpのSSL証明書には大量のSANsが登録されているので参考になる筈。
スクリプトを作り込めば自動化も出来そうだが、
その規模だとエンタープライズ環境だと思うので専用設備の導入を絶対に推奨する。

………

SSL複合化は負荷がかかると言われるので実際にやってみたが、
CPU使用率が予想以上に高騰したのでエンタープライズの環境で常用するのは無理と感じた。
自宅サーバでテストする位ならアリだが、それでも複合化対象のドメインは厳選する必要がある。
とは言っても、一度セッションを張れば通信速度は出るので環境次第では使えるかもしれない。

筆者の環境ではサーバもガッツリとチューニングした上で実環境で試しているが、
1週間使っても特に問題は出ておらず、Twitterも使えたしYoutubeとかも見る事が出来た。
もう少し確認は必要だが、前述のログ問題以外は正常に動作しているので、
お遊びでサクッと使う程度ならアリだと思う。

« 続きを隠す

続きを読む »

ググればGitHubで公開している人もいるのだがシンプルにやりたかったので没にした。
今回は、自作したローレベルディスカバリを使ってZFSのプールパラメータを取得しつつ、
アイテム監視もユーザーパラメータに設定して動的制御している。

ローレベルディスカバリを自作する人は少ないと思うが実装は簡単で、
JSONでKEYとVALUEを出力させつつ、対象をユーザーパラメータに設定すれば取れるので、
コレを使ってZFSパラメータをぶっこ抜く様にしている。

• LLDスクリプト

最初から地雷だが、Zabbixのバージョンによってローレベルディスカバリで読めるJSONが違う。
最近のバージョンではJSONに”data”としてキーを入れない様になっているので、
以前のバージョンで紹介している物は使えない。
筆者が利用している、Zabbix 6.2.0では次の様なJSONでデータを出力される必要があった。

スクリプトの出力結果を見やすくする為にjqコマンドで成形しているが、
Zabbixで読み込む時は改行やタブの字下げは不要でワンライナーでも解釈してくれる。

今回作成した、ZFSステータスを読み込んでJSONで出力するスクリプトは次の通り。
やっつけ感もあるが込み入った処理は不要なのでshellで書いてみた。

#!/usr/bin/bash

COUNT=0
COMMA=','
LENGTH=`zfs list -Hp -o name 2>/dev/null | wc -l`
COMMAND='zfs list -Hp -o name,type,mountpoint'

echo -n "["
if [ $LENGTH -le 0 ] ;then
    echo -n "{"
    echo -n "\"{#ZFSNAME}\":\"-\","
    echo -n "\"{#ZFSTYPE}\":\"-\","
    echo -n "\"{#ZFSMOUNT}\":\"-\""
    echo -n "}"
else
    $COMMAND | while read LINE; do
        ITEM=(`echo $LINE`)
        COUNT=$((COUNT + 1))
        [ $COUNT -eq $LENGTH ] && COMMA=''
        echo -n "{"
        echo -n "\"{#ZFSNAME}\":\"${ITEM[0]}\","
        echo -n "\"{#ZFSTYPE}\":\"${ITEM[1]}\","
        echo -n "\"{#ZFSMOUNT}\":\"${ITEM[2]}\""
        echo -n "}${COMMA}"
    done
fi
echo "]"

• ユーザーパラメータ

ローレベルディスカバリのスクリプトと、
実際の監視ステータスを取得するコマンドをユーザーパラメータに登録する必要がある。
監視ステータスはZFSプール名と取得したい項目を引数にする事で設定を統一させる。
今回は、既存の”vfs.fs.discovery”の名前に合わせてみた。

UserParameter=zfs.fs.discovery,/etc/zabbix/zfs.fs.discovery.sh
UserParameter=zfs.fs.size[*],zfs get -Hp -o value "$2" "$1"

zfs.fs.discoveryがローレベルディスカバリ用のユーザーパラメータ、
zfs.fs.sizeがZFSプールの値を取得する設定となる。
しかし、この方法はセキュリティ度外視なので信頼できる対象サーバとZabbixのみで使う事。
使い方次第で第三者がRCE攻撃出来てしまうので、
不特定多数が使う環境ではスクリプトを介する様にしてサニタイジングをした方が良い。

• ローレベルディスカバリ

通常のローレベルディスカバリと同様に設定すればスクリプトを実行してデータを取得出来る。
zabbix_getでも値を取れるので、丁寧にやるなら設定前にテストをした方が良い。

フィルター処理を入れれば、取得対象のLLDデータを間引く事が出来る。
サンプルスクリプトでは、ファイルシステムとしてマウントしているプールと、
ZFSのボリュームデータも取得する様にしているので、不要な物は削除した方がスッキリする。

• アイテムのプロトタイプ

今回はローレベルディスカバリで監視対象を動的生成するので、
監視アイテムの作り方も通常とは違ってプロトタイプを設定する必要がある。

アイテムのプロトタイプ名にLLDで取得したZFSプール名を入れつつ、
キーにはZabbixから監視したい対象のデータを設定する。
ユーザーパラメータでアスタリスクを設定しているので、
括弧の中に設定した値はカンマ区切りで引数として渡す事が出来る。
こうする事で、ユーザーパラメータの設定を統一しつつZFSの各情報を取れる様になる。

………

後は好きな様にZFSの監視を組み込む。
筆者の環境では計算アイテムも併用してディスク使用率をパーセント表示出来る様にしてみた。
ここまでやる人はZabbixにも慣れている人だと思うので、各々のアイディアで乗り切れるはず。
ユーザーパラメータ監視は以前から実施していたが、
ローレベルディスカバリを自作しつつユーザーパラメータで取得するのは初めてなので勉強になった。

« 続きを隠す