#author("2019-11-30T18:24:51+09:00","default:nowsky","nowsky") *MaxScale [#k1d0bb65] [[MariaDB MaxScale>+https://mariadb.com/kb/en/maxscale/]] MariaDBのトランザクションをバックグラウンドのMariaDBにロードバランスするソフトウェア。 MaxScaleはMariaDBに特化しているが、同様のソフトとしてMySQL Routerも存在する。 ソフト単体でMaxScale自体の冗長化は出来ない為、完全二重化を行う為にはKeepalivedも組み合わせて、 VirtualIP構成を取る必要がある。 ~ *インストール [#q2d168d4] &size(16){&font(b){1. ビルド・インストール};}; 今回はCentOS 8.0.1905・MaxScale v2.4.4でビルドを行う。 ライブラリインストールにdnfを用いているが、他ディストリを利用する時は読み替える。 # dnf install openssl-devel systemd-devel sqlite-devel pam-devel libcurl-devel gnutls-devel libgcrypt-devel # dnf install tcl cmake uuid libuuid-devel xz-devel # wget "https://github.com/mariadb-corporation/MaxScale/archive/maxscale-2.4.4.tar.gz" # tar zxvf maxscale-2.4.4.tar.gz # cd MaxScale-maxscale-2.4.4 # cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/maxscale-2.4.4 -DBUILD_TOOLS=ON # make # make install # ln -s /usr/local/maxscale-2.4.4 /usr/local/maxscale # ln -s /usr/local/maxscale/etc/maxscale.cnf /etc/maxscale.cnf ~ Makefileを編集したらビルド開始。下記で指定しているパラメータは以下参照。 TARGET=Linuxのkernel。2.6.xxか3.xx.xxを使っている場合はlinux2628を指定する。 CPU=サーバのCPU種類。面倒だったら"generic"と書けば大丈夫。SPARCを使っているなら"ultrasparc"と書く。 ARCH=今回は未指定。CPUのアーキテクチャを指定したい場合に書く。i386やx86_64等を指定可能。書かなくてもmakeは通る。 ===== # echo "TARGET=linux2628 CPU=x86_64 USE_OPENSSL=1 USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1" > make.option # make `cat ./make.option` # make install ~ 上記の手動書き換えを行わない場合、make install時にインストール先を指定するやり方もある # make TARGET=linux2628 CPU=x86_64 USE_OPENSSL=1 USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 # make PREFIX=/usr/local/haproxy-1.5.8 install ~ HAProxy v2.0.0以降はビルドオプションが変わり"linux2628"が削除された。 また、systemdへの最適化も行われているので次のオプションでビルドを行う。 # echo "TARGET=linux-glibc USE_PCRE=1 USE_PCRE_JIT=1 USE_OPENSSL=1 USE_ZLIB=1 USE_LIBCRYPT=1 USE_SYSTEMD=1 USE_THREAD=1 USE_TFO=1" > make.option # make `cat ./make.option` # make PREFIX=/usr/local/haproxy-2.0.1 install ~ &size(16){&font(b){2. 設定ファイル};}; -参考サイト:[[HAProxyのACLとCriteria>+http://shimula.hatenablog.com/entry/20101017/1287277739]] 設定ファイルの作成と、起動に必要な情報も決めていく。 コンフィグのひな形はexamplesの中にシナリオが用意されているので、それをコピーしても稼働する。 今回は必要最低限に削減したコンフィグを自作する。 # mkdir /var/run/haproxy # groupadd haproxy # useradd -g haproxy -d /var/run/haproxy -s /sbin/nologin haproxy # chown haproxy.haproxy /var/run/haproxy # chmod 755 /var/run/haproxy # cd /usr/local # ln -s /usr/local/haproxy-1.5.8 ./haproxy # cd /usr/sbin # ln -s /usr/local/haproxy/sbin/haproxy . # cp ${HAProxy_SRC}/examples/haproxy.init /etc/init.d/haproxy # chown root.root /etc/init.d/haproxy # chmod 755 /etc/init.d/haproxy # mkdir /etc/haproxy # vi /etc/haproxy/haproxy.cfg ===== ## グローバルセクション global # デーモンとして動かす daemon # 起動させるHAProxyデーモンの数 nbproc 2 # 最大コネクション数 maxconn 4096 # HAProxyの実行ユーザ。UID指定も可能 uid haproxy # HAProxyの実行グループ。GID指定も可能 gid haproxy # chroot機能を利用する時のDocumentRoot指定 #chroot /usr/share/haproxy # HAProxyの切り替わりログ。下記の場合、localhostのsyslogにfacility:local1でlevel:info以上を投げる #log 127.0.0.1 local1 info # HAProxyのPID pidfile /var/run/haproxy.pid # HAProxyの状態をWebベースで見れる様にする為のソケット。UIDとGIDは実行ユーザの物と合わせる stats socket /var/run/haproxy/stats.sock uid 5001 gid 5001 ## デフォルトで適用されるパラメータの指定 defaults # ロードバランシングのモード。TCPとHTTPが指定可能 mode http # ログの出力オプション。下記の場合、httplogとHealthCheckのログを出力する option httplog option dontlognull option log-health-checks # クライアントとのKeep-Aliveを維持しつつ、バックエンド接続はクローズする option http-server-close # "Connection: close"ヘッダが無ければ付与してバックエンドに転送する #option httpclose # HAProxyを通過したパケットに、X-Forwarded-ForのHTTPヘッダを追加する option forwardfor # HAProxyのリトライパラメータ。下記の場合、接続を3回トライした後に4回目(最後)の接続で別バックエンドに投げる option redispatch retries 3 # 最大コネクション数 maxconn 2048 # ログの出力方式はglobalセクションの物を使用する。 log global # HAProxyのコネクションタイムアウト。ms指定 timeout connect 3000 # HAProxyのクライアントとサーバのタイムアウト。デフォルトはms指定。clientとserverは同じ値にする timeout client 30s timeout server 30s ## HAProxyのstatsページ。下記の場合、8888ポートでstatsページの表示を受け付ける。 listen hastats 0.0.0.0:8888 # statsページの出力モード。httpのみ mode http # defaultsセクションの指定内容と同様 maxconn 128 timeout connect 3000 timeout server 10000 timeout client 10000 # stats表示を有効にする stats enable stats show-legends # statsページのURL-PATHを指定する stats uri /haproxy?hastats # statsページのログインユーザ[User]とパスワード[Password]を指定する stats auth User:Password # --- Balancing proxy server --- # ## HAProxyのフロントエンド指定。負荷分散先の振り分けルールを作成する。 frontend all 0.0.0.0:8080 # HTTPS接続時のポート番号を指定 acl ssl_port url_end 443 # 振り分けURLの指定。指定出来るパラメータは以下の通り # [url_beg -i "パラメータ"]の様に指定すると、複数指定が可能 # ---------- # url : URLの完全一致 # url_beg : URLの先頭一致 # url_dir : URLのディレクトリ一致 # url_dom : HTTPリクエストのドメイン完全一致 # url_end : URLの後方一致 # url_len : URLの長さ一致 # url_reg : 正規表現のマッチング # url_sub : URLを文字列として見た場合の一致 # ---------- # if "ACL_NAME1" "ACL_NAME2" "etc..." : ACL_NAMEが全てtrueの場合 # unless "ACL_NAME1" "ACL_NAME2" "etc..." : ACL_NAMEが全てfalseの場合(ifの逆) acl url_google url_dom www.google.co.jp use_backend google if url_google ssl_port # 個別の振り分け条件にマッチしなかった場合に使用するデフォルトバックエンド default_backend squid ## デフォルトのバックエンド指定 backend squid # ロードバランサーの分散処理方式 # ---------- # roundrobin : ラウンドロビン方式。weightパラメータ(分散先の重み付け[1~256])を使用可能。バックエンド復帰時のバランシングも可能 # static-rr : ラウンドロビン方式。weightパラメータ(分散先の重み付け[1~256])を使用可能。バックエンド復帰時のバランシング不可 # leastconn : 接続数が一番少ないサーバにコネクションを割り振る。負荷を均等にする場合に効果大 # source : srcIPを元に負荷分散。パーシステンスを効かせる場合には特に有効 # uri [len <length>] [depth <depth>] : URIの"?"より前を元に負荷分散。参照するURIの長さも指定可能。リバースプロキシを作る時に使う程度 balance roundrobin # HTTPヘッダ内のcookieにSERVERIDを付与する。これによってSERVERIDを元にしたcookieパーシステンスが出来る cookie SERVERID insert indirect nocache # 負荷分散先のバックエンドサーバを指定する # server "サーバ名" "IPアドレス:ポート番号" "オプション" # ---------- # cookie "NAME" : HTTPリクエストのcookieに埋め込むパラメータの指定。ここに書いた名前がcookieに埋め込まれる為、ローカル名の指定は注意 # check : バックエンドサーバHealthCheckを行う。デフォルトでは、2秒間隔にチェックを行う # inter "NUM" : 指定数毎にcheckを行う。単位はms # fall "NUM" : 指定数のチェックに失敗したら、最後に+1回のチェックを行った上で、他バックエンドサーバに処理を割り振る # rise "NUM" : 指定数のチェックに成功したら、他バックエンドサーバに割り振っていた処理を巻き取る # backup : バックエンドサーバをバックアップ用途で使用する。backup指定をすると、他バックエンドサーバが落ちない限り処理が割り振られない server proxy01.hogehoge.org 192.168.1.11:8008 cookie proxy01 check server proxy02.hogehoge.org 192.168.1.12:8008 cookie proxy02 check ## 個別バックエンド指定 backend google balance roundrobin cookie SERVERID insert indirect nocache server proxy01.hogehoge.org 192.168.1.11:8008 cookie proxy01 check inter 1000 fall 2 rise 4 server proxy02.hogehoge.org 192.168.1.12:8008 cookie proxy02 check backup "stats socket"で指定した"/var/run/haproxy"はtmpfsの為、OSを再起動するとディレクトリの中身が空になりHAProxyが起動出来なくなる。 その為、initスクリプトに"/var/run/haproxy"のチェックとディレクトリ作成処理を追加しておく。 # vi /etc/init.d/haproxy ===== = [ -f /etc/$BASENAME/$BASENAME.cfg ] || exit 1 + if [ ! -e /var/run/${BASENAME} ] ; then + mkdir /var/run/${BASENAME} + chown root.root /var/run/${BASENAME} + chmod 750 /var/run/${BASENAME} + fi = RETVAL=0 OSがsystemdを採用している場合、ビルド時にsystemdフラグを有効化すると、 OSで"sd_notify()"関数をフックして起動制御する事が出来る。 # vi /etc/systemd/system/multi-user.target.wants/haproxy.service --- [Unit] Description=HAProxy Load Balancer After=network.target [Service] Type=notify User=haproxy Group=haproxy # Make sure /var/run/haproxy exists PermissionsStartOnly=true ExecStartPre=/usr/bin/install -d /var/run/haproxy -o haproxy -g haproxy ExecStartPre=/usr/local/haproxy/sbin/haproxy -f ${CONFIG} -c -q # Set environment variable PIDFile=/var/run/haproxy.pid Environment="CONFIG=/etc/haproxy/haproxy.cfg" "PIDFILE=/var/run/haproxy.pid" ExecStart=/usr/local/haproxy/sbin/haproxy -Ws -f ${CONFIG} -p ${PIDFILE} ExecStop=/bin/kill -USR1 $MAINPID ExecReload=/usr/local/haproxy/sbin/haproxy -f ${CONFIG} -c -q ExecReload=/bin/kill -USR2 $MAINPID KillMode=mixed Restart=always SuccessExitStatus=143 LimitNOFILE=65535 LimitNPROC=65535 StartLimitBurst=0 [Install] WantedBy=multi-user.target ~ &size(16){&font(b){3. 起動方法};}; 設定ファイルを作成したら、起動スクリプトを叩いてみる。 また、必要に応じてログローテートの設定も作成する。 #起動 # /etc/init.d/haproxy start #停止 # /etc/init.d/haproxy stop #コンフィグの再読込 # /etc/init.d/haproxy reload ~ &size(16){&font(b){4. HAProxyのstats表示};}; HAProxyの動作状況を確認するには、コンフィグで書いたstatsURLへ接続する必要がある。 上記の通りに設定している場合、&font(b){"http://[HAProxyのサーバアドレス]:8888/haproxy?hastats"};でアクセス出来る。 また、ユーザ名とパスワードを指定している場合、このタイミングでパスワード等を入力する必要がある。 正常に稼働している場合、下記のような画面が表示される(下のは実際にns-lab BBで動作しているHAProxyのステータス) &ref(haproxy_stats.png,left,nowrap,30%); ~ &size(16){&font(b){5. ロードバランシングパケットの転送};}; [[HAProxyとSquid(HAProxyの上位Proxy)を同じサーバで稼働させる>+http://www.ns-lab.org/digiloog/2014/12/article_2814/]]時にはパケット転送(折り返し)が発生する為、 ip_forwardをenableにする必要がある。 ・起動中のサーバでip_forwardをenableにする # echo 1 > /proc/sys/net/ipv4/ip_forward ===== ・永続的にip_forwardをenableにする # vi /etc/sysctl.conf < net.ipv4.ip_forward=0 --- > net.ipv4.ip_forward=1 ===== ・/etc/sysctl.confが無い場合は、/etc/rc.d/rc.localに下記を直書きする echo 1 > /proc/sys/net/ipv4/ip_forward ~ &size(16){&font(b){6. フロントエンドのSSL化};}; -[[HAProxy+Ubuntu14.04>+http://qiita.com/akito1986/items/8cf5d54bb3081e7391e9]] -[[HAProxyのconfigサンプル>+http://moruho.cocolog-nifty.com/blog/2014/08/haproxyconfig-5.html]] -[[リバースプロキシ配下のWordPressでHTTPS>+https://e-td.xyz/article/reverse-proxy-with-wordpress-https/]] HAProxyではWebアクセスフロントエンドとしてSSL待ち受けが出来るようになった。 ただし、WordPressの様にアプリケーションでHTTP/HTTPSを判定する場合、 ブラウザのSSL混在コンテンツエラーに注意する。 ## グローバルセクション global # X-Forwarded-ForのHTTPヘッダを追加する option forwardfor # 証明書の検証を無効化。自己証明書を利用する場合は必須 ssl-server-verify none # SSL POODLE脆弱性対応 ssl-default-bind-options no-sslv3 no-tls-tickets # SSL Cipher Suiteの限定化 ssl-default-bind-ciphers EECDH+HIGH:EDH+HIGH:HIGH:MEDIUM:+3DES:!ADH:!RC4:!MD5:!aNULL:!eNULL:!SSLv3:!SSLv2:!LOW:!EXP # 暗号化強度のデフォルト値 tune.ssl.default-dh-param 2048 ## HAProxyのHTTPSフロントエンド設定 frontend https # HTTPSの待ち受け設定。crtの指定にはssl-default-bind-optionsと同じオプションも個別追加出来る # "crt"はファイル指定とディレクトリ指定が可能。ディレクトリ指定時はディレクトリ配下を全てincludeする動作となる。 # "crt"で指定したディレクトリの中には、公開鍵・秘密鍵を下記の様に纏めたファイルを設置する # ---------- # -----BEGIN CERTIFICATE----- # MIIEGTCC..... # ............. # ............. # -----END CERTIFICATE----- # -----BEGIN RSA PRIVATE KEY----- # MIIEowIB..... # ............. # ............. # -----END RSA PRIVATE KEY----- # ---------- bind 0.0.0.0:443 ssl crt /etc/ssl/certs/haproxy.pem # X-Forwardedヘッダーに、SSL通信の値を追加する http-request set-header X-Forwarded-Proto https http-request set-header X-Forwarded-Port %[dst_port] http-request set-header X-Forwarded-Host %[req.hdr(Host)] # HTTPSバックエンドサーバの振り分けルール acl hoge-dst hdr_dom(host) -i www.hogehoge.org acl hoge-port dst_port 443 use_backend hoge-back if hoge-dst hoge-port backend hoge-back # SourceHashで負荷分散を行う balance source # ssl : バックエンドサーバにSSL(HTTPS)でアクセス # verify none : 証明書検証を明示的に無効化。自己証明書を利用する場合は必須 server www1.hogehoge.org 192.168.1.11:443 check ssl verify none server www2.hogehoge.org 192.168.1.12:443 check ssl verify none バックエンドがWordPressの場合、SSL混在エラーの出る場合がある。 エラーが出た場合は、wp-config.phpに下記設定を追加する if((empty($_SERVER['HTTP_X_FORWARDED_HOST']) == false)){ $_SERVER['HTTP_HOST'] = $_SERVER['HTTP_X_FORWARDED_HOST']; } if((empty($_SERVER['HTTP_X_FORWARDED_FOR']) == false)){ $_SERVER['REMOTE_ADDR'] = $_SERVER['HTTP_X_FORWARDED_FOR']; } if((empty($_SERVER['HTTP_X_FORWARDED_PROTO']) == false) && ($_SERVER['HTTP_X_FORWARDED_PROTO'] == 'https')){ $_SERVER['HTTPS'] = 'on'; }