*squid [#e403d937]
[[squid>+http://www.squid-cache.org/]]
LinuxにProxy環境を構築する為のソフトウェア。
WebProxy以外にも、設定次第ではFTPProxyやReverseProxy、RelayProxyとかも構築出来る。
#author("2018-01-08T15:40:03+09:00","default:nowsky","nowsky")
*BIND [#r36f935d]
[[BIND>+http://www.isc.org/downloads/bind/]]
Linux上にDNSサーバ(名前解決)を構築する為のミドルウェア。
~
*インストール [#sffc1db8]
*インストール [#n8ab718e]
&size(16){&font(b){0. アンインストール};};
インストール済みのBINDが残ったまま新しいBINDを入れると、
後に相性問題とかで面倒くさい事になるので、事前にアンインストールをしておく。
 $ yum -y remove bind bind-libs bind-chroot bind-devel bind-devel
 $ ldconfig
~
&size(16){&font(b){1. ビルド・インストール};};
事前に最新版のsquidをダウンロードしておく事。
オフィシャルにはLanguagePackもあるけれど、squid本体に同梱されているから別途ダウンロードする必要は無い。
./configureかける時に、普通はオプションとかを直接打ち込むのだが、
自分の場合後々流用したり編集したりする事が多いので、オプションだけ別ファイルにしておく。
 $ tar zxvf squid-3.3.9.tar.gz
 $ echo "--enable-default-err-language=Japanese --enable-err-languages=Japanese --enable-useragent-log --enable-referer-log --enable-linux-netfilter --enable-poll --enable-ssl --enable-large-cache-files --enable-coss-aio-ops --enable-storeio=ufs,aufs,diskd --enable-auth-modules=LDAP,PAM,SMB,MSNT --disable-internal-dns --disable-ident-lookups" > ./configure_option.opt
 $ cd squid-3.3.9
 $ ./configure `cat ../configure_option.opt`
事前に最新版のBINDをダウンロードしておく事。
今回は[[OpenSSL:+http://www.ns-lab.org/wiki/?Linux%2FSource%2FOpenSSL]]をソースからインストールしてある事と、BINDをchroot環境で動作させる事を前提とする。
また、ビルド前の./configureかける時に、普通はオプションとかを直接打ち込むのだが、
今回は長めのオプションを指定するのでオプションコマンドを別ファイルにしておく。
 $ tar zxvf bind-9.10.1.tar.gz
 $ echo "--prefix=/usr/local/bind-9.10.1 --with-openssl=/usr/local/openssl --enable-threads --enable-ipv6 --with-pic --disable-static --disable-openssl-version-check --disable-isc-spnego --enable-largefile --enable-chroot" > ./configure.option
 $ cd bind-9.10.1
 $ ./configure `cat ../configure.option`
 $ make
 $ make install
上記の設定だと、インストールディレクトリは『/usr/local/squid』になる。(“--prefix=***”で変更可能)
また、設定ファイルも『/usr/local/squid/etc』の中にあるsquid.confになる。(“--sysconfdir=***”で変更可能。普通だったら“--sysconfdir=/etc”とか)
オプションの詳細についてはドキュメントを読むか、下のサイト様に詳細が書いてある。
[[サーバ・クライアント設定集 - squidインストールと設定>+http://www.rose.sannet.ne.jp/nterasim/linux/squidinst.html]]
[[コロのLinuxサーバー構築 - Squidによるプロキシサーバーの構築>+http://linux.kororo.jp/cont/server/squid.php]]
 $ cd /usr/local
 $ ln -s /usr/local/bind-9.10.1 ./bind
~
&size(16){&font(b){2. 設定};};
squidの設定内容は説明書で7000行もあるので、必須な物を抜粋して記述していく。
併せて、squidの動作ログ、キャッシュデータ、ダンプを設置するディレクトリの作成と、動作ユーザーも作成する。
なお、上記ディレクトリはファイルの読み書きが頻繁に行われる為、&font(b){squidデータ専用のHDDを購入→squid専用パーティションとして作成した所を指定する事};
 $ groupadd squid
 $ useradd -g squid -s /sbin/nologin squid
 $ mkdir /var/squid
 $ cd /var/squid
 $ mkdir cache dump logs
 $ chown -R squid.squid /var/squid
 $ chmod -R 750 /var/squid
必要に応じて、/etc/passwdのhomeを書き換える事
 $ vi /usr/local/squid/etc/squid.conf
&size(16){&font(b){2. ユーザとディレクトリの作成};};
ソースからインストールした場合、BINDの実行ユーザやchrootディレクトリも自作する必要がある。
さらに言うと、initファイルやnamed.confも自作する必要がある。
※コンフィグのひな形はソース内の"FAQ"に書いてあるが、完成形コンフィグではないので移植不可能
~
今回は以下の環境を想定して設定を行う。
また、ディレクトリはchroot化しなかった場合と同じ内部構成とする。
 BIND(chroot)ディレクトリ:/var/named/chroot
 BIND実行ユーザ:named
 BIND実行グループ:named
 BIND設定ファイル:/var/named/chroot/etc/named.conf
~
 $ mkdir /var/named
 $ groupadd named
 $ useradd -g named -d /var/named -s /sbin/nologin named
 $ rm -rf /var/named/* && rm -rf /named/.*
 $ chmod 750 /var/named
 $ chown root.named /var/named

 #
 # Recommended minimum configuration:
 #
 $ cd /var/named
 $ mkdir -p ./chroot/dev ./chroot/etc ./chroot/var
 $ cd ./chroot/dev
 $ mknod -m 644 ./null c 1 3
 $ mknod -m 644 ./zero c 1 5
 $ mknod -m 644 ./full c 1 7
 $ mknod -m 644 ./random c 1 8
 $ mknod -m 644 ./urandom c 1 9
 $ cd ../var
 $ mkdir -p ./cache/bind ./log ./named/data ./named/dynamic ./run/named
 $ chown named.named ./log ./run/named
 $ chown -R named.named ./named
~
&size(16){&font(b){3. 設定ファイル};};
基本的に1から作成する必要がある。BIND側でテンプレを入れてくれればいいのに...
下記では、必須のzoneファイルのみをメモ。

※1. named.confは/var/named/chroot/etc/named.confに設置
※2. named.confの中身やzoneの書き方は[[他のサイト>+https://www.google.co.jp/search?q=BIND+named.conf+zone&safe=off&client=firefox-a&hs=MjG&rls=org.mozilla:ja:official&hl=ja&gbv=2&sei=bZ42VLyvLZDm8AWU0IDYBg]]を参照

 $ /usr/local/bind/bin/dig . ns @202.12.27.33 +bufsize=1024 > /var/named/chroot/var/named/named.ca
 $ cp /etc/localtime /var/named/chroot/etc/

 $ vi /var/named/chroot/var/named/named.empty
 --------------------------------------------------
 $TTL 3H
 @   IN SOA  @ rname.invalid. (
                                 0       ; serial
                                 1D      ; refresh
                                 1H      ; retry
                                 1W      ; expire
                                 3H )    ; minimum
     IN  NS      localhost.
     IN  A       127.0.0.1
     IN  AAAA    ::1

 $ vi /var/named/chroot/var/named/named.localhost
 --------------------------------------------------
 $TTL 1D
 @   IN SOA  @ rname.invalid. (
                                 0       ; serial
                                 1D      ; refresh
                                 1H      ; retry
                                 1W      ; expire
                                 3H )    ; minimum
     IN  NS      localhost.
     IN  A       127.0.0.1
     IN  AAAA    ::1

 $ vi /var/named/chroot/var/named/named.loopback
 --------------------------------------------------
 $TTL 1D
 @   IN SOA  @ rname.invalid. (
                                 0       ; serial
                                 1D      ; refresh
                                 1H      ; retry
                                 1W      ; expire
                                 3H )    ; minimum
     IN  NS      localhost.
     IN  A       127.0.0.1
     IN  AAAA    ::1
     IN  PTR     localhost.

 $ vi /var/named/chroot/var/named/named.rfc1912.zones
 --------------------------------------------------
 zone "localhost.localdomain" IN {
         type master;
         file "named.localhost";
         allow-update { none; };
 };
 
 # Example rule allowing access from your local networks.
 # Adapt to list your (internal) IP networks from where browsing
 # should be allowed
 acl localhost src 127.0.0.1/32 #squidサーバー自身
 acl localnet src 192.168.1.0/24 #ローカルネットワークアドレス
 zone "localhost" IN {
         type master;
         file "named.localhost";
         allow-update { none; };
 };
 
 acl SSL_ports port 443 #SSL系統だけは別で設定
 #Safe_portsで指定されているポートは、squidを指定するだけで利用可能にする
 acl Safe_ports port 80 # http
 acl Safe_ports port 21 # ftp
 acl Safe_ports port 443 # https
 acl Safe_ports port 70 # gopher
 acl Safe_ports port 210 # wais
 acl Safe_ports port 1025-65535 # unregistered ports
 acl Safe_ports port 280 # http-mgmt
 acl Safe_ports port 488 # gss-http
 acl Safe_ports port 591 # filemaker
 acl Safe_ports port 777 # multiling http
 acl CONNECT method CONNECT
 zone "1.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.ip6.arpa" IN {
         type master;
         file "named.loopback";
         allow-update { none; };
 };
 
 #以下、http_accessとallow/denyを使用してフィルターをかける
 #
 # Recommended minimum Access Permission configuration:
 #
 # Deny requests to certain unsafe ports
 http_access deny !Safe_ports
 # Deny CONNECT to other than secure SSL ports
 http_access deny CONNECT !SSL_ports
 zone "1.0.0.127.in-addr.arpa" IN {
         type master;
         file "named.loopback";
         allow-update { none; };
 };
 
 # Only allow cachemgr access from localhost
 http_access allow localhost manager
 http_access deny manager
 
 # We strongly recommend the following be uncommented to protect innocent
 # web applications running on the proxy server who think the only
 # one who can access services on "localhost" is a local user
 #http_access deny to_localhost
 
 zone "0.in-addr.arpa" IN {
         type master;
         file "named.empty";
         allow-update { none; };
 };

 $ vi /etc/init.d/named
 --------------------------------------------------
 #!/bin/sh
 #
 # INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
 # named           This shell script takes care of starting and stopping
 #                 named (BIND DNS server).
 #
 # chkconfig: 345 55 45
 # description: named (BIND) is a Domain Name Server (DNS)
 # that is used to resolve host names to IP addresses.
 # probe: true
 
 # Example rule allowing access from your local networks.
 # Adapt localnet in the ACL section to list your (internal) IP networks
 # from where browsing should be allowed
 http_access allow localnet
 http_access allow localhost
 # BIND configuration
 BIND_ROOT="/var/named/chroot"
 BIND_CONFIG="/etc/named.conf"
 BIND_USER="named"
 BIND_OPTIONS="-u ${BIND_USER} -c ${BIND_CONFIG} -t ${BIND_ROOT}"
 BIND_PIDFILE="${BIND_ROOT}/var/run/named/named.pid"
 
 # And finally deny all other access to this proxy
 http_access deny all
 # Source function library.
 . /etc/rc.d/init.d/functions
 
 # Squid normally listens to port 3128
 http_port 8080 #待ち受けるポート番号
 # Source networking configuration.
 . /etc/sysconfig/network
 
 # Uncomment and adjust the following to add a disk cache directory.
 cache_dir ufs /var/squid/cache 128 8 16
 #キャッシュデータの保存方法をufsにして、
 #親ディレクトリを8、親の中の子ディレクトリを16、子ディレクトリ内のキャッシュデータの最大サイズはそれぞれ128MByteにする
 cache_effective_user squid #キャッシュデータを書き込むユーザー
 cache_effective_group squid #キャッシュデータを書き込むユーザーのグループ
 # Check that networking is up.
 [ ${NETWORKING} = "no" ] && exit 0
 [ -f /usr/local/bind/sbin/named ] || exit 0
 [ -f ${BIND_ROOT}${BIND_CONFIG} ] || exit 0
 
 # Leave coredumps in the first cache dir
 #coredump_dir /usr/local/squid/var/cache/squid
 coredump_dir /var/squid/dump
 
 #
 # Add any of your own refresh_pattern entries above these.
 #
 #アクセスする度にリフレッシュ(再アクセス)するファイルの種類
 refresh_pattern ^ftp:       1440    20% 10080
 refresh_pattern ^gopher:    1440    0%  1440
 refresh_pattern -i (/cgi-bin/|\?) 0 0%  0
 refresh_pattern .       0   20% 4320
 
 # LOG
 access_log /var/squid/logs/access.log #クライアントがsquidにアクセスしてきたログ
 cache_log /var/squid/logs/cache.log #squiddの動作ログ
 cache_store_log /var/squid/logs/store.log #保存したキャッシュのログ
 
 # Reply Host Message
 visible_hostname unknown #squidのDNS逆引き結果(unknownだと相手に逆引きを通知しない)
 forwarded_for off #プライベートIPを外に漏らさない
 #request_header_access Referer deny all #HTTPヘッダーのReferer(リンク元情報)を消す
 #request_header_access User-Agent deny all #HTTPヘッダーのUser-Agent(ブラウザ情報)を消す
 request_header_access Via deny all #squidの情報(バージョンとか)を外に漏らさない
 request_header_access Cache_Control deny all #キャッシュ制御情報を外に漏らさない
 request_header_access X-Forwarded-For deny all #クライアントのIPアドレスを通知しない
他にも、メモリキャッシュの容量、ログローテート設定とかをする必要があるが、今回は省略。
~
&size(16){&font(b){3. 起動準備};};
ソースからインストールすると、起動スクリプトとかも時前で用意する必要がある。
また、起動前にキャッシュフォルダの構成を作成したりする事も必要。
 //起動スクリプトを作る。必要に応じてランレベルからシンボリックリンクを張り、自動起動の設定もする。
 $ vi /etc/init.d/squidd
 ---
 #!/bin/sh
 #
 # Startup script for squid
 
 #PREFIX=/var/spool/squid
 #LOCKD=/var/run
 
 #インストールディレクトリ
 prefix=/usr/local/squid
 exec_prefix=${prefix}
 
 #ログディレクトリ
 logdir=/var/squid/logs
 PATH=${exec_prefix}/sbin:${exec_prefix}/bin:/bin:/usr/bin
 export PATH
 
 #設定ファイル
 conf="/usr/local/squid/etc/squid.conf"
 
 # See how we were called.
 case "$1" in
     start)
         # Start BIND.
         echo -n "Starting bind: "
         if [ -e /var/lock/subsys/named ] ; then
             echo "BIND running"
             exit 0
         else
             daemon /usr/local/bind/sbin/named ${BIND_OPTIONS}
             echo
             touch /var/lock/subsys/named
         fi
         ;;
     stop)
         # Stop daemons.
         echo -n "Shutting down bind: "
         killproc -p ${BIND_PIDFILE}
         for PID in `ps -ef | grep "[n]amed.*${BIND_USER}" | awk '{print $2}'`
         do
             kill ${PID}
         done
         rm -f /var/lock/subsys/named
         echo
         ;;
     status)
         status named
         exit $?
         ;;
     restart)
         $0 stop
         $0 start
         exit $?
         ;;
     *)
         echo "Usage: named {start|stop|restart|status}"
         exit 1
 esac
 
 start)
 # Start squid daemons:
 echo "Running: squid -sDY $conf >> $logdir/squid.out 2>&1"
 $prefix/sbin/squid -NDsY $conf >> $logdir/squid.out 2>&1 &
 echo
 ;;
 
 stop)
 echo -n "Shutting down squid daemons >> $logdir/squid.out 2>&1"
 $prefix/sbin/squid -k shutdown
 ;;
 
 restart)
 echo -n "Restart squid daemons >> $logdir/squid.out 2>&1"
 $prefix/sbin/squid -k reconfigure
 echo
 ;;
 
 *)
 echo "Usage: rc.squid {start|stop|restart}"
 exit 1
 ;;
 esac
 exit 0
参考サイト様 → [[サーバ・クライアント設定集 - squidインストールと設定>+http://www.rose.sannet.ne.jp/nterasim/linux/squidinst.html]]
~
&size(16){&font(b){4. 起動準備};};
BINDを起動させる時に/etcからBINDのコンフィグを読み込む必要がある為、シンボリックリンクを張る
ついでにパーミッション操作も行い、読み取り権限の整理をする
 $ cd /etc
 $ ln -s /var/named/chroot/etc/named.conf .
 $ chmod 755 /etc/init.d/named
 $ chown root.root /etc/init.d/named
 $ chkconfig --add named
 $ chkconfig named on
~
次にBINDと[[rndc:+http://www.turbolinux.com/support/document/knowledge/427.html]]の連携に必要な、rndc.confを作成する
通常は、rndc.confの作成に/dev/randomの乱数を利用するのだが、
乱数から鍵を作成するのは時間がかかる為、キーボード連打によって疑似乱数を作成し鍵として利用する。
 $ /usr/local/bind/sbin/rndc-confgen -a -b 512 -k rndc-key -r keyboard
 start typing:
 『ひたすら、キーボードを叩き続ける』
 stop typing.
 wrote key file "/usr/local/bind-9.10.1/etc/rndc.key"

 //設定ファイルの整合性チェック。エラーが出たら設定ファイルを見直す
 $ /usr/local/squid/sbin/squid -k parse
 $ cd /var/named/chroot/etc/
 $ mv /usr/local/bind/etc/rndc.key .
 $ cp rndc.key rndc.conf
 $ chmod 640 ./rndc.key && chown root.named ./rndc.key
 $ chmod 600 ./rndc.conf && chown root.root ./rndc.conf
 $ ln -s /var/named/chroot/etc/rndc.key /etc/rndc.key
 $ ln -s /var/named/chroot/etc/rndc.conf /etc/rndc.conf
 --------------------------------------------------
 $ vi ./rndc.conf
 ※ 以下を追記
 options {
        default-key "rndc-key";
        default-server localhost;
        default-port 953;
 };
~
最後に起動テストを実施する。
initから起動した場合はエラーログが出力されない為、
最初に起動コマンドを直打ちし、無事起動したらプロセスをkillした上でinitからテストする
 ※起動コマンド直打ち
 $ /usr/local/bind/sbin/named -u named -c /etc/named.conf -t /var/named/chroot
 
 //キャッシュディレクトリ内のサブディレクトリを設定通りに作る
 $ /usr/local/squid/sbin/squid -z
 
 //squidを起動する
 $ /etc/init.d/squidd start
 
 //squidを停止する
 $ /etc/init.d/squidd stop
 
 //squidの動作確認
 $ /usr/local/squid/bin/squidclient -p 8080 http://www.yahoo.co.jp/
 ※initスクリプトからの起動
 $ /etc/init.d/named start
~
*利用する [#b4d7efe9]
WebブラウザのProxyを設定する。
Webページにアクセスする度に、squidがキャッシュ探索するのでCPU使用率が上がり、HDDのアクセスはもの凄く増える。
&size(16){&font(b){5. ログローテート};};
BINDはログが肥大化しやすいので、ちゃんとローテートをかける。
ローテートファイルの書式は色々あるので適当にググって調べる。
 $ ln -s /var/named/chroot/var/log /var/log/named
 $ vi /etc/logrotate.d/named
 --------------------------------------------------
 /var/log/named/named.log {
     daily
     compress
     rotate 30
     missingok
     notifempty
     sharedscripts
     delaycompress
     create 0644 named named
     postrotate
         /etc/init.d/named restart > /dev/null 2>/dev/null || true
     endscript
 }

*エラー項目 [#e7776de0]
~&size(16){&font(b){1. DSO_load error};};
chroot環境でBINDを起動すると、/var/log/messagesに以下のログが出て起動出来ない場合がある
 DSO support routines:DSO_load:could not load the shared library:dso_lib.c:244:
 engine routines:DYNAMIC_LOAD:dso not found:eng_dyn.c:450:
 engine routines:ENGINE_by_id:no such engine:eng_list.c:418:id=gost
~
chroot環境の場合、DNSSECに必要なSSLライブラリもchroot環境下を参照してしまう。
結果、存在しない『{$CHROOT_DIR}/usr/local/openssl/lib』を見に行き、DSO_load errorが出てしまう。
解決方法としては
 1. /usr/local/openssl/lib/engines/*をchroot環境下へコピー
 2. chrootを諦める
のどちらかを実施する必要がある。
~
ちなみに、シンボリックリンクをchroot内のディレクトリから実ディレクトリへ張った場合、
"chroot環境下からのシンボリックリンク"とBINDに解釈される為、
 $ ln -s /usr/local/openssl /var/chroot/named/usr/openssl
にしても、実際は
 $ ln -s ${CHROOT_DIR}/usr/local/openssl ${CHROOT_DIR}/var/chroot/named/usr/openssl
へ張っている事と同じとなり起動出来なくなる。
~
1の方法で解決する場合、
 $ mkdir -p ${CHROOT_DIR}/usr/local/openssl/lib/engines
 $ cp -a /usr/local/openssl/lib/engines/* ${CHROOT_DIR}/usr/local/openssl/lib/engines/
 $ chown root.root ${CHROOT_DIR}/usr/local/openssl/lib/engines/*
を実行し、実ファイルを移動させる必要がある。
~
また、上記コマンドで使用しているディレクトリ名opensslは
"シンボリックリンクでないOpenSSLのディレクトリ名"と同じ物を指定する必要がある。
つまり、OpenSSLの実ディレクトリが/usr/local/openssl-1.0.0だとすると、chroot環境下のOpenSSLディレクトリも、
 $ mkdir -p ${CHROOT_DIR}/usr/local/openssl-1.0.0
とする必要がある。
それでも起動出来ない場合は、OSレベルのライブラリディレクトリ(/lib , /lib64)を作成し、
OpenSSL環境下のライブラリをそっちへ移動してみる。
~
&size(16){&font(b){2. ログのタイムスタンプ};};
chroot環境では、BINDから出力されるログのタイムスタンプがUTCのままになる事がある
これを、JSTにするには"localtime"設定もchroot下にコピーする必要がある
 $ cp /etc/localtime ${CHROOT_DIR}/etc/localtime
 $ chown root.root ${CHROOT_DIR}/etc/localtime
 $ chmod 644 ${CHROOT_DIR}/etc/localtime
 $ /etc/init.d/named restart