Linux/Mail/Rspamd の履歴(No.9)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Linux/Mail/Rspamd へ行く。
  • 1 (2018-05-10 (木) 13:36:15)
  • 2 (2018-05-10 (木) 15:54:31)
  • 3 (2018-05-10 (木) 23:33:19)
  • 4 (2018-05-13 (日) 17:18:31)
  • 5 (2018-05-13 (日) 22:30:35)
  • 6 (2018-05-27 (日) 16:31:48)
  • 7 (2018-06-03 (日) 23:30:56)
  • 8 (2018-06-10 (日) 23:59:02)
  • 9 (2018-06-13 (水) 22:57:16)
  • 10 (2018-06-16 (土) 14:38:38)
  • 11 (2018-06-17 (日) 01:07:44)

Rspamd†

スパムメールチェック、電子署名付与、外部プログラム連携を実装するメール管理ソフトウェア。
スパムフィルタ・ウイルスチェックを実装する場合、従来は複数のソフトウェアを組み合わせていたが、
Rspamdのみで管理する事が出来るのでメンテナンス性が向上する。
　
殆どのコンポーネントはSQLiteにデータを書き込むが、
ニューラルネットワーク、メール構文解析など高度・高速処理が必要な物は、
Redis(RemoteDictionaryServer)にデータを書き込む為、Redisも構築する必要がある。

参考サイト†

• Rspamd
• Soukaku's HENA-CHOKO Blog
• Rspamdで迷惑メールを判定
  
  

構築環境†

• 配布サイト
• 公式ドキュメント
  　

  IP/FQDN SERVER-A SERVER-B OS openSUSE Leap 42.3 openSUSE Leap 42.3 IP 10.0.0.1 10.0.0.2 FQDN mx1.test.org mx2.test.org SQLite localhost localhost Redis 127.0.0.1 127.0.0.1 MAIL test-mail☆mail.test.org ※ MAILの星マークは「@」に置換して下さい 　 Parameter SERVER-A SERVER-B USER rspamd GROUP rspamd VERSION v1.7.4 PREFIX /usr/local/rspamd DB /var/lib/rspamd ※ PREFIXは後でバージョン番号にリネームして下さい

  未設画像

  
  

インストール†

• 1. インストール
  yum/apt-get/zypperなどのパッケージ管理でもインストール出来るが、
  Rspamd公式がオフィシャルパッケージを推奨している為、基本的にソースコードをビルドする。
  構築例ではopenSUSEを利用しているがCentOS/Debianでも同手順で構築可能である。

  # zypper install ragel libevent-devel sqlite3-devel file-devel
  # zypper install lua lua-devel lua51-luajit lua51-luajit-devel
  # zypper install pcre-devel pcre2-devel libfann-devel libfann2
  # zypper install jemalloc-devel libjemalloc2 gd-devel

  　

  # cd /usr/local/src
  # wget https://github.com/vstakhov/rspamd/archive/1.7.4.tar.gz
  # tar zxvf 1.7.4.tar.gz
  # cd rspamd-1.7.4
  # cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/rspamd \
            -DINSTALL_EXAMPLES=ON                    \
            -DINSTALL_WEBUI=ON                       \
            -DENABLE_JEMALLOC=ON                     \
            -DENABLE_LUAJIT=ON                       \
            -DENABLE_SQLITE=ON                       \
            -DENABLE_REDIRECTOR=ON                   \
            -DENABLE_URL_INCLUDE=ON                  \
            -DENABLE_TORCH=ON                        \
            -DENABLE_FANN=ON                         \
            -DENABLE_PCRE2=ON                        \
            -DENABLE_GD=ON
  # make && make install

  　
• 2. 起動準備
  実行ユーザ、systemdスクリプト、ログローテートを設定しておく。
  Rspamdはファイル入出力を多量に使う為、
  systemdスクリプトには "LimitNOFILE" を埋め込み、ファイルディスクリプタを上書きする。
  また、設定ファイル・インストール先を変更しているので、環境に合わせて設定も変更する。
  　
  インストール先については、プレフィックス・パスでインストールした後、
  バージョン番号付にリネームする事で、パッケージ管理をしやすくする。

  # vi /usr/lib/systemd/system/rspamd.service
  ---
  [Unit]
  Description=rapid spam filtering system
  After=nss-lookup.target network-online.target
  Documentation=https://rspamd.com/doc/
  
  [Service]
  LimitNOFILE=1048576
  NonBlocking=true
  ExecStart=/usr/local/rspamd/bin/rspamd -c /etc/rspamd/rspamd.conf -f
  ExecReload=/bin/kill -HUP $MAINPID
  User=rspamd
  Group=rspamd
  RuntimeDirectory=rspamd
  RuntimeDirectoryMode=0755
  Restart=always
  
  [Install]
  WantedBy=multi-user.target

  　

  # vi /etc/logrotate.d/rspamd
  ---
  /var/log/rspamd/rspamd.log {
      weekly
      compress
      rotate 4
      missingok
      ifempty
      sharedscripts
      create 0644 rspamd rspamd
      postrotate
          systemctl restart rspamd > /dev/null 2>/dev/null || true
      endscript
  }

  　

  # groupadd rspamd
  # useradd -g rspamd -s /sbin/nologin rspamd
  # mkdir /var/log/rspamd /var/lib/rspamd
  # chown rspamd.rspamd /var/log/rspamd /var/lib/rspamd
  # cd /usr/local
  # mv rspamd rspamd-1.7.4
  # ln -s /usr/local/rspamd-1.7.4 rspamd
  # ln -s /usr/local/rspamd/etc/rspamd /etc/rspamd

  　
• 3. 基礎設定
  初期設定にはコンフィグウィザードを利用出来るが、細かい設定は直接編集する必要がある。
  Rspamdのコンフィグは優先度順に階層化されており、棲み分けは下記の通りとなる。
  • 既存設定に追記修正する物は "local.d" ディレクトリ内に設定
  • 設定を強制上書きする場合は "override.d" ディレクトリに保存
  • デフォ設定を直編集する時は "modules.d" ディレクトリを編集

ただし、基本的には "local.d" にて設定を上書修正しておき、
モジュールを無効化する場合のみ "override.d" 内に "enabled=false" を1行記載する。
　
設定ファイルの拡張子は ".conf/.inc" の二つが存在する。
対応する拡張子は設定ファイル毎に違う為、呼び出し元となる "modules.d" を都度確認する。

# rspamadm configwizard
---
・コンフィグウィザードの開始
Do you wish to continue?[Y/n]: y

・WEB管理画面の設定
Controller password is not set, do you want to set one?[Y/n]: y
Enter passphrase: 

・Redisの設定
Do you wish to set Redis servers?[Y/n]: y
Input read only servers separated by `,` [default: localhost]: localhost
Input write only servers separated by `,` [default: 127.0.0.1]: 127.0.0.1
Do you have any password set for your Redis?[y/N]: y
Do you have any specific database for your Redis?[y/N]: y

・DKIM設定(後で設定)
Do you want to setup dkim signing feature?[y/N]: n

・トークンタイムアウト
Expire time for new tokens [100d]: 100d

・設定の出力
Reset previous data?[y/N]: y

・Redisのイニシャライズ
Do you wish to convert them to Redis?[Y/n]: y

・設定の保存
Apply changes?[Y/n]: y

• 4. オプション設定
  ウィザードだけでは細かい設定が出来ない為、モジュール毎のコンフィグを直編集する。
  なお、下記は特に重要となる項目の参考値のみ記載。
  　
  各モジュールの概要・設定項目は公式ドキュメントの解説を確認する。
  ただし、物によってはドキュメントに記載されていないが、モジュールに直編集する事が可能な場合がある為、
  必要に応じてソースコードも確認する。
  • "local.d/actions.conf"

    ＋

    設定内容

    コチラ で解説している迷惑メール判定閾値の変更 reject = null; add_header = 10; greylist = null;

• "local.d/classifier-bayes.conf"

  ＋

  設定内容

  Rspamd学習データを格納するSQLiteの設定 backend = "sqlite3"; languages_enabled = true; min_tokens = 11; min_learns = 200; tokenizer { name = "osb"; } cache { path = "${DBDIR}/learn_cache.sqlite"; } statfile { symbol = "BAYES_HAM"; path = "${DBDIR}/bayes.ham.sqlite"; spam = false; } statfile { symbol = "BAYES_SPAM"; path = "${DBDIR}/bayes.spam.sqlite"; spam = true; }

• "local.d/dkim_signing.conf"

  ＋

  設定内容

  DKIM署名を付与する場合は dkim_signing を利用し、 DKIM検証を行う場合は dkim モジュールを利用する。 　 DKIMはheader情報を元に制御するので use_domain をheaderで上書きする。 サブドメインメール環境下でeSLDを有効化すると、 署名対象がサブドメイン(FQDN)から、ドメインに変わる為、無効化する。 証明書の作り方などはOpenDKIM構築手順を参照する。 allow_envfrom_empty = true; allow_hdrfrom_mismatch = true; allow_hdrfrom_multiple = false; allow_username_mismatch = true; use_esld = false; use_redis = false; use_domain = "header"; use_domain_sign_networks = "header"; use_domain_sign_local = "header"; domain { mail.hoge.org { path = "/etc/rspamd/dkim/mail.hoge.org"; selector = "20180401"; } }

• "local.d/history_redis.conf"

  ＋

  設定内容

  Redisの制御設定。nrowsはデフォルト値から増強する事を推奨。 servers = 127.0.0.1:6379; key_prefix = "rs_history"; nrows = 10000; compress = true; subject_privacy = false;

• "local.d/logging.inc"

  ＋

  設定内容

  Rspamdのログ保存設定。ファイル直書き・syslog出力の二つが出来る。 デバッグログを設定すると、特定もモジュールのみデバッグログ出力する事も出来る。 type = "file"; filename = "/var/log/rspamd/rspamd.log"; log_urls = true; log_re_cache = true; debug_modules = [];

• "local.d/milter_headers.conf"

  ＋

  設定内容

  スパム判定のヘッダー定義。汎用的な値を使うなら、extended_spam_headersを有効化する。 Rspamdで処理したメールに独自ヘッダーを付与するには [add-headers] を指定する。 ドキュメントは情報が古い為、最新の設定内容を使う場合はソースを直接見る。 use = ["add-headers", "x-virus"]; extended_spam_headers = true; routines { add-headers { headers { X-Rspamd-Scanned = "X-Original-Header"; } remove = 1; } x-virus { header = "X-Virus"; symbols = ["CLAM_VIRUS", "FPROT_VIRUS"]; remove = 1; } }

• "local.d/mime_types.conf"

  ＋

  設定内容

  メール添付ファイル種類毎のスコア設定。 攻撃に使われやすい拡張子を高スコア設定にしたり、強制削除フラグを付与する。 bad_extensions = { ace = 4, arj = 4, bat = 2, cab = 3, com = 2, exe = 1, jar = 2, lnk = 4, scr = 4, }; bad_archive_extensions = { pptx = 0.1, docx = 0.1, xlsx = 0.1, pdf = 0.1, jar = 3, js = 0.5, vbs = 4, }; archive_extensions = { zip = 1, arj = 1, rar = 1, ace = 1, 7z = 1, cab = 1, };

• "local.d/options.inc"

  ＋

  設定内容

  Rspamdの基本動作設定。DNSサーバのロードバランス、RspamdCluster設定もこのファイルで行う。 RspamdにはC言語モジュール・LUAモジュールの二つが存在するが、 C言語モジュールの読込み設定はこのファイルの [filters] で設定する。 ただし、一部のLuaモジュールはC言語モジュールを必須としているので注意。 filters = "chartable,dkim,spf,surbl,regexp,fuzzy_check"; raw_mode = false; one_shot = false; dns { # nameserver = "master-slave:127.0.0.1:53:10,8.8.8.8:53:1"; timeout = 1s; sockets = 16; retransmits = 5; } classify_headers = [ "User-Agent", "X-Mailer", "Content-Type", "X-MimeOLE", ]; history_rows = 10000; allow_raw_input = true; words_decay = 10000; local_addrs = "127.0.0.1/32";

• "local.d/phishing.conf"

  ＋

  設定内容

  フィッシングメールフィルターの設定。 このモジュールは全メールのURL解析・URLブラックリストとの参照を行う為、 メモリをもの凄く使うので利用時は注意する。 真面に動かす場合は16GB以上の空きメモリが必要なので、 [enabled = false;] のみ記載してモジュールを無効化するか、 メモリを利用する箇所を明示的に無効化する。 下記ではメモリを大量消費するモジュール(openphish_enabled/openphish_premium/phishtank_enabled)を無効化している phishing { openphish_enabled = false; openphish_premium = false; phishtank_enabled = false; }

• "local.d/redis.conf"

  ＋

  設定内容

  読み書きするRedisの指定。Read/Writeの両方を設定する点に注意 write_servers = "127.0.0.1"; read_servers = "127.0.0.1";

• "local.d/worker-controller.inc"

  ＋

  設定内容

  RspamdのコントローラとWebGUIの設定。[rspamadm pw] コマンドでGUI認証パスワードを生成出来る "password"はGUI閲覧のみ、"enable"はGUIから設定変更も可能になる。 "secure_ip"に記載したIPからGUIを閲覧すると、認証パスワードが掛からなくなる。 RspamdClusterを構築する際はAPI代わりにHTTP-GETを送っているので、 認証回避する為に"secure_ip"設定が必要となる。 password = "$2$..."; enable_password = "$2$..."; secure_ip = "127.0.0.1";

  　

• 5. WebGUI画面
  RspamdはWebUIを備えており、メール解析状況の確認・スパムメール学習などを行う事が出来る。
  通常はIP:127.0.0.1/TCP:11334で待ち受けているが、設定により変更する事も出来る。
  ただし、WebUIは通信暗号化に対応していない為、SSL化を行う場合にはNginxをリバプロ動作させる必要がある。
  設定方法は オフィシャル で公開されているのでそちら参照の事。
  例としてSSL通信を強制しつつ、リバプロ動作させる設定を下記記載する

  ＋

  設定内容

  location /rspamd/ { # Reverse proxy proxy_bind 127.0.0.1; proxy_pass http://127.0.0.1:11334/; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # IP access restrict allow 10.0.0.1; allow 10.0.0.2; deny all; # Force SSL/TLS request if($server_port != 443){ return 403; } }

  　
• 6. クラスタリング
  Rspamdはクラスタリング構成を取る事が出来る。
  ただ、クラスタリングと言っても一般的なActive/Activeクラスタでは無く、
  WebUIを通した管理通信をクラスタ内のサーバへ同時適用したり、
  ステータスをクラスタ全体で合算して表示するなど一部機能に限定される。
  例として、Master:10.0.0.1/Slave:10.0.0.2でクラスタを構築する設定を記載する

• "local.d/options.inc"

  ＋

  設定内容

  クラスタ構成するWebUIのURLを設定する。 下記ではhost/pathを設定しているが、hostのみでも構築する事が出来る。 pathの値はオフィシャルではトレイリングスラッシュ(最後の'/')を付けていないが、 付けないとAPI接続エラーになるので、path設定時は付与させる事。 neighbours { server1 { host = "https://10.0.0.1:443"; path = "/rspamd/"; } server2 { host = "https://10.0.0.2:443"; path = "/rspamd/"; } }

• "local.d/worker-controller.inc"

  ＋

  設定内容

  クラスタ用のWeb通信を認証なしで通す為、 クラスタノードからの接続をパスワード認証無しにする。 secure_ip = "10.0.0.1"; secure_ip = "10.0.0.2";

  
  

スパム判定†

• A. 正規・迷惑メール学習
  正確にメール判定を行う為には大量のスパムメールと正規メールの学習が必要になる。
  本番環境で行う場合、ユーザ領域を直接処理するとデッドロックする可能性がある為、
  ProcMail等で全メールをコピーしておき、別処理として学習させる。

  ・迷惑メール学習(1通)
  # rspamc -c bayes -h 127.0.0.1:11334 learn_spam /${FilePath}/mail.eml
  
  ・迷惑メール学習(複数)
  # rspamc -c bayes -h 127.0.0.1:11334 learn_spam /${FilePath}/
  
  ・正常メール学習1通)
  # rspamc -c bayes -h 127.0.0.1:11334 learn_ham /${FilePath}/mail.eml
  
  ・正常メール学習(複数)
  # rspamc -c bayes -h 127.0.0.1:11334 learn_ham /${FilePath}/

  　
• B. 迷惑メールヘッダー
  milter_headerの設定値により迷惑メールヘッダーの値が変化する。
  大別して、詳細パラメータで制御を行う物と、シンボル制御の2種類がある。
  詳細は公式ドキュメントのmilter_headerを読む事。
  • "x-spamd-bar"

    ＋

    ヘッダー情報

    通常のメール <X-Spamd-Bar: -> スパムメール <X-Spamd-Bar: +>

• "x-spamd-result"

  ＋

  ヘッダー情報

  通常のメール <X-Spamd-Result: default: False> スパムメール <X-Spamd-Result: default: True>

• "x-spam-status"

  ＋

  ヘッダー情報

  通常のメール <X-Spam-Status: No, score=X.XX> スパムメール <X-Spam-Status: Yes, score=X.XX>