Linux/Source/dnsdist の履歴(No.2) - nowsky system-lab memo

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ]

履歴一覧
差分を表示
現在との差分を表示
ソースを表示
Linux/Source/dnsdist へ行く。
- 1 (2019-04-28 (日) 10:04:42)
- 2 (2019-04-28 (日) 10:22:09)
- 3 (2019-04-28 (日) 23:30:36)

dnsdist†

DNSに特化したリバース・フォワード兼用ロードバランサー。
バックエンド死活監視、ポリシールーティング、QoS制御などのLSLBが備える機能を一通り実装している。
設定ファイルはLua言語で記述する形式なので、環境に合わせて細かい挙動制御も出来る。
なお、DNSクエリに限定すると、dnsdistはクエリのフォワード動作に特化している為、
バックエンドに権威DNS、キャッシュDNS何れかを構築する必要がある。
　
ソフトウェアとしては単一バイナリ動作なので、機能を盛り見過ぎるとバイナリが70MB程まで大きくなる。
必要な機能に限定してソースビルドを行いバイナリ容量の削減をすると、
dnsdist稼働時の仕様メモリ削減も図る事が出来るので、基本はソースビルドが無難な構築方法となる。

↑

参考サイト†

↑

インストール†

1. インストール
汎用性が高い為、ソースからdnsdistをビルドする。
今回はopenSUSE環境でビルドを行っているが、CentOS/Debianでも同様の手順でビルド出来る。
prefix指定は、バイナリバージョン管理の為にシンボリックリンクで参照先を切り替える手法をとる。
```
# zypper install libev4 libev-devel ragel
# wget https://github.com/gdnsd/gdnsd/archive/v2.4.0.tar.gz
# tar zxvf gdnsd-2.4.0.tar.gz
# cd gdnsd-2.4.0
# autoreconf --install
# ./configure --prefix=/usr/local/gdnsd-2.4.0
# make
# make install
```

2. 起動準備
gdnsdを動かす為の実行ユーザを作成した上で起動スクリプトも準備する。
gdnsdはsystemd起動に最適化されている為、従来のinitスクリプトでは無くサービスファイルから起動を行う。
なお、v3.0.0から起動オプションが変わった為、アップグレード時はserviceファイルを修正する必要がある。

＋

v2.4.0 起動コマンド

# cd /usr/local
# ln -s /usr/local/gdnsd-2.4.0 gdnsd
# cd /etc
# ln -s /usr/local/gdnsd/etc/gdnsd gdnsd
# vi /usr/lib/systemd/system/gdnsd.service
---
[Unit]
Description=gdnsd Authoritative GSLB type DNS Server
After=local-fs.target network.target remote-fs.target nss-lookup.target

[Install]
WantedBy=multi-user.target

[Service]
Type=notify
NotifyAccess=all
ExecStart=/usr/local/gdnsd/sbin/gdnsd -c /etc/gdnsd -f start
ExecStop=/usr/local/gdnsd/sbin/gdnsd -c /etc/gdnsd stop

## Security Setting
MountFlags=slave
DevicePolicy=closed
PrivateDevices=true
PrivateTmp=true
ProtectSystem=full
ProtectHome=true

＋

v3.0.0 起動コマンド

# cd /usr/local
# ln -s /usr/local/gdnsd-3.0.0 gdnsd
# cd /etc
# ln -s /usr/local/gdnsd/etc/gdnsd gdnsd
# echo '# Type Path            Mode UID   GID   Age Argument' >> /usr/lib/tmpfiles.d/gdnsd.conf
# echo 'd      /var/run/gdnsd/ 0700 gdnsd gdnsd -   -'        >> /usr/lib/tmpfiles.d/gdnsd.conf
# vi /usr/lib/systemd/system/gdnsd.service
---
[Unit]
Description=gdnsd Authoritative GSLB type DNS Server
After=local-fs.target network.target remote-fs.target nss-lookup.target

[Install]
WantedBy=multi-user.target

[Service]
Type=notify
NotifyAccess=all
ExecStart=/usr/local/gdnsd/sbin/gdnsd -c /etc/gdnsd -l start
ExecStop=/usr/local/gdnsd/bin/gdnsdctl -c /etc/gdnsd -l stop
ExecReload=/usr/local/gdnsd/bin/gdnsdctl -c /etc/gdnsd -l replace

## Security, daemon management
User=gdnsd
UMask=0022
RuntimeDirectory=gdnsd
RuntimeDirectoryMode=0700
CapabilityBoundingSet=CAP_NET_BIND_SERVICE
AmbientCapabilities=CAP_NET_BIND_SERVICE

## Security Setting
MountFlags=slave
DevicePolicy=closed
PrivateDevices=true
PrivateTmp=true
ProtectSystem=full
ProtectHome=true

3. コンフィグ
gdnsdのコンフィグは、[${PREFIX}/etc/gdnsd/config]から固定参照で読み込んでいるので、
上記設定に合わせてコンフィグを作成しないと、プログラムの起動に失敗する。
今回はprefixをシンボリックリンクで[/usr/local/gdnsd]に変更している為、
作成するコンフィグファイル名も[/usr/local/gdnsd/etc/gdnsd/config]になる。
コンフィグファイルにはgdnsdのヘルスチェック条件も書く必要があるが、
権威DNSサーバ機能のみ利用するならば、optionsのみ記載すればプログラムを起動出来る。
v3.0.0で一部の設定項目が廃止となった為、エラーが出た場合はコンフィグを修正する。

# vi /usr/local/gdnsd/etc/gdnsd/config
---
options => {
    username       => gdnsd,
    chaos_response => "GSLB",
    listen         => 0.0.0.0:53,
    http_listen    => 0.0.0.0:3506,
    log_stats      => 3600,
    tcp_threads    => 1,
    udp_threads    => 1,

    include_optional_ns    => true,
    disable_text_autosplit => false,
    zones_strict_data      => false,
    zones_strict_startup   => true,
    zones_rfc1035_auto     => false,

    state_dir              => /var/lib/gdnsd,
    run_dir                => /var/run/gdnsd,
    plugin_search_path     => /usr/local/gdnsd/lib64/gdnsd,
}

＋

設定の解説

全オプションはgdnsdの公式ドキュメントを確認する。
最低限の動作を行う場合、下記オプションを参考に設定を行う。

OPTIONS HASH	v2.4.0	v3.0.0	DESCRIPTION
username	○	×	gdnsdの実行ユーザ。グループはユーザに紐付いている物が自動適用される [v3.0.0] serviceファイルに直接設定する方式に変更となり削除
chaos_response	○	○	CHクラスの応答内容権威DNSのバージョン確認クエリに、設定した文字列を返す
listen	○	○	gdnsdの待ち受けIPアドレス・ポート番号複数IPを待ち受けする場合はリスト構造にする
http_listen	○	×	gdnsdヘルスチェック画面の待ち受けIPアドレス・ポート番号 [v3.0.0] HTTPサーバ(HTTP listener)廃止により設定項目も削除
log_stats	○	×	DNSクエリの統計ログ出力間隔で、値を"0"にすると統計ログ出力が無効化される [v3.0.0] HTTPサーバ(HTTP listener)廃止により設定項目も削除
tcp_threads	○	○	リスナーアドレスに対して作成されるスレッド数マルチコアCPUの場合、CPUコアの2～4倍にするとパフォーマンスが上がる
udp_threads	○	○	リスナーアドレスに対して作成されるスレッド数マルチコアCPUの場合、CPUコアの2～4倍にするとパフォーマンスが上がる
include_optional_ns	○	×	DNSのAuthoritySectionにオプションのNSレコードを含めて応答する [v3.0.0] 応答速度重視により設定がfalseで固定された為、項目も削除
disable_text_autosplit	○	○	TXTレコードを255バイト毎に自動分割する設定を切り替える通常は自動分割させる為、自動分割を無効(false)に設定する
zones_strict_data	○	○	DNSゾーンファイルで重要度低のエラーが発生してもデーモンを起動する "zones_strict_startup"の設定に依存する
zones_strict_startup	○	○	gdnsd起動時にDNSゾーンファイルが正しく読めない時は起動停止させる無効化(false)の場合、読込み失敗したDNSゾーンをスキップして起動させる
zones_rfc1035_auto	○	×	DNSゾーンファイルの書き換えを検出し、DNSレコードに自動適用する [v3.0.0] オートスキャン(autoscanning)廃止により削除
state_dir	○	○	gdnsdのデーモン起動情報を外部プログラムと連携する際に使用ディレクトリが存在しない時は自動生成される
run_dir	○	○	gdnsdのPIDファイル保存フォルダ systemdからプロセス操作を行う際に必須となる
plugin_search_path	○	×	プラグインの保存先で、基本的に"${PREFIX}/lib64/gdnsd"を設定する [v3.0.0] プラグインの外部参照廃止と共に削除

4. ゾーンファイル
DNSゾーンファイルは、権威DNSとしてレコードを登録したいORIGINと同じファイル名にする。
例えば、[gslb.test.org]のゾーンを作成する場合、
DNSゾーンファイルは[/usr/local/gdnsd/etc/gdnsd/zones/gslb.test.org]となる。
ファイルの書式は基本的にBINDのゾーン記法と同じだが、
ヘルスチェックを元にした可変レコードの箇所のみ、gdnsd特有の設定を行う必要がある。
GSLBの特性上TTLを短くする必要がある為、ゾーンファイル内でTTLを明記して設定を切り替える。
参考として、DNSゾーンファイルの例を構築例に従って作成してみる。

# vi /usr/local/gdnsd/etc/gdnsd/zones/gslb.test.org
---
$ORIGIN gslb.test.org.
$TTL    3600
@       IN  SOA  ns1.gslb.test.org.  root.gslb.test.org. (
                                        2018010101  ; serial
                                        3600        ; refresh
                                        1200        ; retry
                                        1209600     ; expire
                                        3600        ; minimum
                                     )

;; GLUE RECORD
;;
        IN  NS      ns1.gslb.test.org.
        IN  NS      ns2.gslb.test.org.
ns1     IN  A       10.0.0.1
ns2     IN  A       10.0.0.2

;; CONTENTS
sv1     IN  A       192.168.0.1
sv2     IN  A       192.168.0.2

;; GSLB
;;
$TTL    10
;; この箇所にGSLBの可変レコードを記載

5. 起動
事前に作成したサービスファイルを用いてgdnsdを起動する。
ログはsyslogのdaemonファシリティに出力されるので、起動しない時は該当ログを確認する。
```
# systemctl unmask gdnsd
# systemctl enable gdnsd
# systemctl start gdnsd
```

↑

ステータス†

gdnsdのヘルスチェック確認はメジャーバージョンによって変化する。
v2.4.2までは、同梱するHTTPサーバを用いたGUI確認となるが、
v3.0.0以降は、コマンドで出力したJSON形式の実行結果を見る事となる。

＋

v2.4.0 ステータス確認

＋

v3.0.0 ステータス確認

↑

ヘルスチェック†

GSLBは下位サーバに対してヘルスチェックを行い、ステータスに応じた可変レコード応答が特徴となる。
負荷分散(ラウンドロビン)、冗長化(アクティブ・スタンバイ)など様々な構成を取る事が出来る。
gdnsdにもヘルスチェックが搭載されており、基本的なGSLBとして機能するようになっている。
また、標準のヘルスチェックで機能不足の場合、ヘルスチェックで外部コマンドを実行する事で、
環境に応じた機能拡張を行う事も出来る。
　
gdnsdのヘルスチェックを利用する時は、gdnsdのconfigファイルにヘルスチェック定義を設定した後、
DNSゾーンファイルで専用の可変レコードを設定する事により利用可能となる。
可変レコードはAレコードを定義するDYNAレコードと、CNAMEを定義するDYNCレコードの2種類が存在する。
ただし、利用出来る可変レコードはプラグイン毎に制限されている為、詳細は公式ドキュメントを確認する。
　
DYNA/DYNCレコードは ["プラグイン種別"！"応答レコード定義名"] で設定する。
DNSゾーンファイルには下記の様なレコードを追記する事となる。

www    10  DYNA  multifo!tcp_80
blog   10  DYNA  weighted!tcp_443
cname  10  DYNC  weighted!tcp_cname

ラウンドロビン

＋

設定内容

ヘルスチェックを行いつつ、コンテンツサーバにラウンドロビンで振り分ける。
コンテンツサーバでWEB(TCP:80)を待ち受けている環境を想定して作成する。
gdnsdのヘルスチェック設定は、既存のconfigファイルに追記を行う事で定義する。

# vi /usr/lcoal/gdnsd/etc/gdnsd/config
---
service_types   => {
    tcp_80_http => {
        plugin      => http_status,
        port        => 80,
        url_path    => /,
        ok_codes    => [ 200, 301 ],
        up_thresh   => 10,
        ok_thresh   => 5,
        down_thresh => 5,
        interval    => 5,
        timeout     => 4,
    }
}

plugins     => {
    multifo => {
        tcp_80 => {
            service_types => tcp_80_http,
            up_thresh     => 0.001,
            SERVERA       => 192.168.0.1,
            SERVERB       => 192.168.0.2,
        }
    }
}

　
DNSゾーンファイルには、Aレコード・CNAMEの応答内容に従って可変レコードを記載する。
例えば、Aレコードとして可変応答させる場合は下記の様になる。

# vi /usr/local/gdnsd/etc/gdnsd/zones/gslb.test.org
---
;; DNSゾーンに追記
$TTL    10
www     10  DYNA   multifo!tcp_80

重み付け応答

＋

設定内容

重み付けに応じて応答するレコードを変更する場合、ラウンドロビン設定内のIP指定部分をリストに変更する。
変更箇所はpluginsフィールド内のみで、service_typesは書き換えなくて良い。
下記設定では、SERVER-Aを1、SERVER-Bを3とした場合の重み付け応答となる。

# vi /usr/lcoal/gdnsd/etc/gdnsd/config
---
plugins      => {
    weighted => {
        tcp_80 => {
            service_types => tcp_80_http,
            up_thresh     => 0.001,
            multi         => false,
            SERVERA       => [ 192.168.0.1, 1],
            SERVERB       => [ 192.168.0.2, 3],
        }
    }
}

　
重み付け応答にする為、監視モジュールを[multifo]から[weighted]に切り替えている為、
DNSゾーンファイルのDYNAレコード設定も変更する。

# vi /usr/local/gdnsd/etc/gdnsd/zones/gslb.test.org
---
;; DNSゾーンに追記
$TTL    10
www     10  DYNA   weighted!tcp_80

ping死活監視

＋

設定内容

gdnsdのヘルスチェックには、ping死活監視モジュールが存在しない。
その為、ping死活で応答レコードを変更する場合、外部コマンドモジュールを利用してpingを直接実行する。
　
外部コマンドに監視対象のIPアドレスを引き渡す場合、特殊変数の"％％ITEM％％"を指定する。
"％％ITEM％％"変数を指定する事で、configファイルの応答IPアドレスを監視対象としてスクリプトに引き渡す。
外部コマンドモジュールを利用する場合、パラメータ内で利用するコマンドのタイムアウト秒数が、
gdnsdヘルスチェックのタイムアウト秒数以上にならない様に注意する。

# vi /usr/lcoal/gdnsd/etc/gdnsd/config
---
service_types    => {
    icmp_command => {
        plugin      => extmon,
        cmd         => ["/usr/sbin/fping", "-t 3", "%%ITEM%%"],
        interval    => 10,
        timeout     => 4,
        up_thresh   => 6,
        ok_thresh   => 3,
        down_thresh => 3,
    }
}

plugins     => {
    multifo => {
        icmp_check => {
            service_types => icmp_command,
            up_thresh     => 0.001,
            SERVERA       => 192.168.0.1,
            SERVERB       => 192.168.0.2,
        }
    }
}

　
DNSゾーンファイルの内容も設定に応じて書き換える。
外部コマンドを利用しているが、DYNAレコードに影響のあるpluginsは大きく変更していない為、
従来通りの書式に従ってDYNAレコード設定を変更する。

# vi /usr/local/gdnsd/etc/gdnsd/zones/gslb.test.org
---
;; DNSゾーンに追記
$TTL    10
www     10  DYNA   multifo!icmp_check

NAT配下監視

＋

設定内容

クラウドではグローバルIPとインスタンス内部アドレスを、NATで紐付けてアドレスを割り当てている場合が多い。
この時、NAT装置がNATループバック(ヘアピンNAT)に対応していない場合、
グローバルIPからインスタンス内部アドレスに変換が出来ず、グローバルIPでヘルスチェックが出来なくなる。
解決方法は複数存在するが、楽な方法としては外部コマンドヘルスチェックを応用する事で、
インスタンス内部アドレスで監視しつつ、DNSの応答レコードをグローバルIPにする事が出来る。
　
下記は、Web(TCP:80)への死活監視をインスタンス内部アドレス(SERVER-A/B)で行いつつ、
DNSレコードとしてはグローバルIP(NAT)を応答する設定例となる。

# vi /usr/lcoal/gdnsd/etc/gdnsd/config
---
service_types  => {
    script_mon => {
        plugin      => extmon,
        cmd         => ["/usr/local/bin/script_mon.pl", "%%ITEM%%", "80"],
        interval    => 10,
        timeout     => 4,
        up_thresh   => 6,
        ok_thresh   => 3,
        down_thresh => 3,
    }
}

plugins     => {
    multifo => {
        tcp_80 => {
            service_types => script_mon,
            up_thresh     => 0.001,
            SERVERA       => 1.1.0.1,
            SERVERB       => 1.1.0.2,
        }
    }
}

　
DNSゾーンファイルは今までと同じように、plugins/service_typesを設定する。
この時、重み付け応答を行いたい場合、設定に合わせてDYNAレコードを修正する。

# vi /usr/local/gdnsd/etc/gdnsd/zones/gslb.test.org
---
;; DNSゾーンに追記
$TTL    10
www     10  DYNA   multifo!tcp_80

　
外部コマンドは様々は作成方法があるが、筆者が作成したperlの作例を公開。
応答性重視の監視スクリプトとして利用する為、例外処理は全部省いている。

# vi /usr/local/bin/script_mon.pl
---
#!/usr/bin/perl

$GIP  = $ARGV[0];
$PORT = $ARGV[1];
%LIP;
$LIP{'1.1.0.1'} = "10.0.0.1";
$LIP{'1.1.0.2'} = "10.0.0.2";

$STAT = system("/usr/bin/ncat -w 1 $LOCAL{$GLOBAL} ${PORT} < /dev/null > /dev/null 2>&1");
$STAT = $STAT >> 8;

exit $STAT;

アクティブ・スタンバイ

＋

設定内容

GSLB配下のコンテンツサーバ間でセッション同期を行っていない構成や、
通信を片寄せする時にコンテンツサーバをActive/Standby動作させる場合がある。
gdnsdにActive/Standbyモジュールは存在しないが、
データセンター・フェールオーバー機能でアクティブ・スタンバイを実現出来る。
　
下記は、SERVER-Aをアクティブ・SERVER-Bをスタンバイとして稼働させつつ、
ヘルスチェックにWeb(TCP:80)への死活監視を行う設定例となる。

# vi /usr/lcoal/gdnsd/etc/gdnsd/config
---
service_types   => {
    tcp_80_http => {
        plugin      => http_status,
        port        => 80,
        url_path    => /,
        ok_codes    => [ 200, 301 ],
        up_thresh   => 10,
        ok_thresh   => 5,
        down_thresh => 5,
        interval    => 5,
        timeout     => 4,
    }
}

plugins    => {
    metafo => {
        resources  => {
            tcp_80 => {
                datacenters => [ active, standby ]
                dcmap       => {
                    active  => {
                        plugin        => multifo,
                        service_types => tcp_80_http,
                        up_thresh     => 0.001,
                        SERVERA       => 192.168.0.1,
                    }
                    standby => {
                        plugin        => multifo,
                        service_types => tcp_80_http,
                        up_thresh     => 0.001,
                        SERVERB       => 192.168.0.2,
                    }
                }
            }
        }
    }
}

　
DNSゾーンファイルは従来通りに、サービスタイプとプラグインを設定する。
今回は、データセンター・フェールオーバーを利用しているのでmetafoプラグインを指定する。
サービスタイプは作成した物を従来通りに設定する。

# vi /usr/local/gdnsd/etc/gdnsd/zones/gslb.test.org
---
;; DNSゾーンに追記
$TTL    10
www     10  DYNA   metafo!tcp_80

ソーリーサーバ

＋

設定内容

障害でコンテンツサーバが全台がダウンした時に緊急コンテンツ(ソーリーサーバー)を表示する事で、
メインサーバがダウンしている事を伝える事がある。
このソーリーサーバをgdnsdで実装するには、データセンター・フェールオーバーを応用する。
　
下記は、SERVER-AとSERVER-Bをラウンドロビン稼働させつつ、
ソーリーサーバとして192.168.0.3へ割り振る設定例となる。
ただし、ソーリーサーバへのヘルスチェックを行わない事で、
ソーリーサーバの稼働状況にかかわらず、コンテンツサーバ全ダウン時もアドレスを応答するようにしてある。

# vi /usr/lcoal/gdnsd/etc/gdnsd/config
---
service_types   => {
    tcp_80_http => {
        plugin      => http_status,
        port        => 80,
        url_path    => /,
        ok_codes    => [ 200, 301 ],
        up_thresh   => 10,
        ok_thresh   => 5,
        down_thresh => 5,
        interval    => 5,
        timeout     => 4,
    }
}

plugins    => {
    metafo => {
        resources  => {
            tcp_80 => {
                datacenters => [ active, sorry ]
                dcmap       => {
                    active  => {
                        plugin        => multifo,
                        service_types => tcp_80_http,
                        up_thresh     => 0.001,
                        SERVERA       => 192.168.0.1,
                        SERVERB       => 192.168.0.2,
                    }
                    sorry => 192.168.0.3,
                }
            }
        }
    }
}

　
ソーリーサーバを利用する場合も、DNSゾーンファイルは従来通りの設定を行う。
gdnsdのプラグインはmetafoを利用しているので、metafoを指定する。

# vi /usr/local/gdnsd/etc/gdnsd/zones/gslb.test.org
---
;; DNSゾーンに追記
$TTL    10
www     10  DYNA   metafo!tcp_80