Linux/Mail/Rspamd の履歴(No.10)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Linux/Mail/Rspamd へ行く。
  • 1 (2018-05-10 (木) 13:36:15)
  • 2 (2018-05-10 (木) 15:54:31)
  • 3 (2018-05-10 (木) 23:33:19)
  • 4 (2018-05-13 (日) 17:18:31)
  • 5 (2018-05-13 (日) 22:30:35)
  • 6 (2018-05-27 (日) 16:31:48)
  • 7 (2018-06-03 (日) 23:30:56)
  • 8 (2018-06-10 (日) 23:59:02)
  • 9 (2018-06-13 (水) 22:57:16)
  • 10 (2018-06-16 (土) 14:38:38)
  • 11 (2018-06-17 (日) 01:07:44)

Rspamd†

スパムメールチェック、電子署名付与、外部プログラム連携を実装するメール管理ソフトウェア。
スパムフィルタ・ウイルスチェックを実装する場合、従来は複数のソフトウェアを組み合わせていたが、
Rspamdのみで管理する事が出来るのでメンテナンス性が向上する。
　
殆どのコンポーネントはSQLiteにデータを書き込むが、
ニューラルネットワーク、メール構文解析など高度・高速処理が必要な物は、
Redis(RemoteDictionaryServer)にデータを書き込む為、Redisも構築する必要がある。

参考サイト†

• Rspamd
• Soukaku's HENA-CHOKO Blog
• Rspamdで迷惑メールを判定
  
  

構築環境†

• 配布サイト
• 公式ドキュメント
  　

  IP/FQDN SERVER-A SERVER-B OS openSUSE Leap 42.3 openSUSE Leap 42.3 IP 10.0.0.1 10.0.0.2 FQDN mx1.test.org mx2.test.org SQLite localhost localhost Redis 127.0.0.1 127.0.0.1 MAIL test-mail☆mail.test.org ※ MAILの星マークは「@」に置換して下さい 　 Parameter SERVER-A SERVER-B USER rspamd GROUP rspamd VERSION v1.7.4 PREFIX /usr/local/rspamd DB /var/lib/rspamd ※ PREFIXは後でバージョン番号にリネームして下さい

  未設画像

  
  

インストール†

• 1. インストール
  yum/apt-get/zypperなどのパッケージ管理でもインストール出来るが、
  Rspamd公式がオフィシャルパッケージを推奨している為、基本的にソースコードをビルドする。
  構築例ではopenSUSEを利用しているがCentOS/Debianでも同手順で構築可能である。

  # zypper install ragel libevent-devel sqlite3-devel file-devel
  # zypper install lua lua-devel lua51-luajit lua51-luajit-devel
  # zypper install pcre-devel pcre2-devel libfann-devel libfann2
  # zypper install jemalloc-devel libjemalloc2 gd-devel

  　

  # cd /usr/local/src
  # wget https://github.com/vstakhov/rspamd/archive/1.7.4.tar.gz
  # tar zxvf 1.7.4.tar.gz
  # cd rspamd-1.7.4
  # cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/rspamd \
            -DINSTALL_EXAMPLES=ON                    \
            -DINSTALL_WEBUI=ON                       \
            -DENABLE_JEMALLOC=ON                     \
            -DENABLE_LUAJIT=ON                       \
            -DENABLE_SQLITE=ON                       \
            -DENABLE_REDIRECTOR=ON                   \
            -DENABLE_URL_INCLUDE=ON                  \
            -DENABLE_TORCH=ON                        \
            -DENABLE_FANN=ON                         \
            -DENABLE_PCRE2=ON                        \
            -DENABLE_GD=ON
  # make && make install

  　
• 2. 起動準備
  実行ユーザ、systemdスクリプト、ログローテートを設定しておく。
  Rspamdはファイル入出力を多量に使う為、
  systemdスクリプトには "LimitNOFILE" を埋め込み、ファイルディスクリプタを上書きする。
  また、設定ファイル・インストール先を変更しているので、環境に合わせて設定も変更する。
  　
  インストール先については、プレフィックス・パスでインストールした後、
  バージョン番号付にリネームする事で、パッケージ管理をしやすくする。

  # vi /usr/lib/systemd/system/rspamd.service
  ---
  [Unit]
  Description=rapid spam filtering system
  After=nss-lookup.target network-online.target
  Documentation=https://rspamd.com/doc/
  
  [Service]
  LimitNOFILE=1048576
  NonBlocking=true
  ExecStart=/usr/local/rspamd/bin/rspamd -c /etc/rspamd/rspamd.conf -f
  ExecReload=/bin/kill -HUP $MAINPID
  User=rspamd
  Group=rspamd
  RuntimeDirectory=rspamd
  RuntimeDirectoryMode=0755
  Restart=always
  
  [Install]
  WantedBy=multi-user.target

  　

  # vi /etc/logrotate.d/rspamd
  ---
  /var/log/rspamd/rspamd.log {
      weekly
      compress
      rotate 4
      missingok
      ifempty
      sharedscripts
      create 0644 rspamd rspamd
      postrotate
          systemctl restart rspamd > /dev/null 2>/dev/null || true
      endscript
  }

  　

  # groupadd rspamd
  # useradd -g rspamd -s /sbin/nologin rspamd
  # mkdir /var/log/rspamd /var/lib/rspamd
  # chown rspamd.rspamd /var/log/rspamd /var/lib/rspamd
  # cd /usr/local
  # mv rspamd rspamd-1.7.4
  # ln -s /usr/local/rspamd-1.7.4 rspamd
  # ln -s /usr/local/rspamd/etc/rspamd /etc/rspamd

  　
• 3. 基礎設定
  初期設定にはコンフィグウィザードを利用出来るが、細かい設定は直接編集する必要がある。
  Rspamdのコンフィグは優先度順に階層化されており、棲み分けは下記の通りとなる。
  • 既存設定に追記修正する物は "local.d" ディレクトリ内に設定
  • 設定を強制上書きする場合は "override.d" ディレクトリに保存
  • デフォ設定を直編集する時は "modules.d" ディレクトリを編集

ただし、基本的には "local.d" にて設定を上書修正しておき、
モジュールを無効化する場合のみ "override.d" 内に "enabled=false" を1行記載する。
　
設定ファイルの拡張子は ".conf/.inc" の二つが存在する。
対応する拡張子は設定ファイル毎に違う為、呼び出し元となる "modules.d" を都度確認する。

# rspamadm configwizard
---
・コンフィグウィザードの開始
Do you wish to continue?[Y/n]: y

・WEB管理画面の設定
Controller password is not set, do you want to set one?[Y/n]: y
Enter passphrase: 

・Redisの設定
Do you wish to set Redis servers?[Y/n]: y
Input read only servers separated by `,` [default: localhost]: localhost
Input write only servers separated by `,` [default: 127.0.0.1]: 127.0.0.1
Do you have any password set for your Redis?[y/N]: y
Do you have any specific database for your Redis?[y/N]: y

・DKIM設定(後で設定)
Do you want to setup dkim signing feature?[y/N]: n

・トークンタイムアウト
Expire time for new tokens [100d]: 100d

・設定の出力
Reset previous data?[y/N]: y

・Redisのイニシャライズ
Do you wish to convert them to Redis?[Y/n]: y

・設定の保存
Apply changes?[Y/n]: y

• 4. オプション設定
  ウィザードだけでは細かい設定が出来ない為、モジュール毎のコンフィグを直編集する。
  なお、下記は特に重要となる項目の参考値のみ記載。
  　
  各モジュールの概要・設定項目は公式ドキュメントを確認した上で設定する。
  ただし、物によってはドキュメントに記載されていないが、モジュールに直編集する事が可能な場合がある為、
  必要に応じてソースコードも確認する。
  • local.d/actions.conf

    ＋

    設定内容

    コチラでも解説している、Rspamd v1.7系の迷惑メール判定閾値設定 閾値のパラメータは小数点も設定可能で、設定した値が迷惑メールスコアに表示される reject = null; add_header = 10; greylist = null;

• local.d/classifier-bayes.conf

  ＋

  設定内容

  Rspamdのスパムメール学習データを格納するSQLite設定 SPAMのtrue/falseを切り替える事で、スパムメール・非スパムメール学習データの切り替えを行う backend = "sqlite3"; languages_enabled = true; min_tokens = 11; min_learns = 200; tokenizer { name = "osb"; } cache { path = "/var/lib/rspamd/learn_cache.sqlite"; } statfile { symbol = "BAYES_HAM"; path = "/var/lib/rspamd/bayes.ham.sqlite"; spam = false; } statfile { symbol = "BAYES_SPAM"; path = "/var/lib/rspamd/bayes.spam.sqlite"; spam = true; }

• local.d/dkim_signing.conf

  ＋

  設定内容

  DKIM署名を付与する場合は "dkim_signingモジュール" を利用し、 DKIM検証を行う場合は "dkimモジュール" を利用する。 　 DKIMはheader情報を元に制御するので、use_domainの設定をheader値で上書きする サブドメインメール環境でeSLDを有効化すると、 署名対象がサブドメインのFQDNから、ドメインに変わってしまうので無効化を推奨 証明書の作り方などはOpenDKIM構築手順のメモを見る allow_envfrom_empty = true; allow_hdrfrom_mismatch = true; allow_hdrfrom_multiple = false; allow_username_mismatch = true; use_esld = false; use_redis = false; use_domain = "header"; use_domain_sign_networks = "header"; use_domain_sign_local = "header"; domain { mail.hoge.org { path = "/etc/rspamd/dkim/mail.hoge.org"; selector = "20180401"; } }

• local.d/history_redis.conf

  ＋

  設定内容

  Redisに書き込むデータ行数などの設定。nrowsは10000以上に変更する事を推奨 compressを有効化しないと、データが肥大化するので有効化しておく servers = 127.0.0.1:6379; key_prefix = "rs_history"; nrows = 10000; compress = true; subject_privacy = false;

• local.d/logging.inc

  ＋

  設定内容

  Rspamdのログ保存設定。ファイル直書き・syslog出力の2種類がある デバッグモジュールを設定すると、特定もモジュールのみデバッグログ出力する事も出来る 例えば、DKIMモジュールのデバッグを行う場合は、"debug_modules = ["dkim_signing"];"と設定する type = "file"; filename = "/var/log/rspamd/rspamd.log"; log_urls = true; log_re_cache = true; debug_modules = [];

• local.d/milter_headers.conf

  ＋

  設定内容

  スパム判定のヘッダー定義。汎用的な値を使うなら、extended_spam_headersを有効化する Rspamdで処理したメールに独自ヘッダーを付与するには、add-headersを指定する ドキュメントは情報が古い為、最新の設定内容を使う場合はソースを直接見る use = ["add-headers", "x-virus"]; extended_spam_headers = true; routines { add-headers { headers { X-Rspamd-Scanned = "X-Original-Header"; } remove = 1; } x-virus { header = "X-Virus"; symbols = ["CLAM_VIRUS", "FPROT_VIRUS"]; remove = 1; } }

• local.d/mime_types.conf

  ＋

  設定内容

  メールに添付されるファイル拡張子毎のスパムスコア設定 攻撃に使われやすい拡張子を高スコア設定にしつつ、強制削除フラグを付与する事で、 添付ファイル拡張子での遮断が出来る bad_extensions = { ace = 4, arj = 4, bat = 2, cab = 3, com = 2, exe = 1, jar = 2, lnk = 4, scr = 4, }; bad_archive_extensions = { pptx = 0.1, docx = 0.1, xlsx = 0.1, pdf = 0.1, jar = 3, js = 0.5, vbs = 4, }; archive_extensions = { zip = 1, arj = 1, rar = 1, ace = 1, 7z = 1, cab = 1, };

• local.d/options.inc

  ＋

  設定内容

  Rspamdの基本動作設定。参照先DNSサーバのロードバランス、RspamdCluster設定もこのファイルで行う RspamdにはC言語モジュール・LUAモジュールの二つが存在するが、 C言語モジュールの読込み設定はこのファイルのfiltersで設定する。 ただし、一部のLuaモジュールはC言語モジュールを必須としているので注意 filters = "chartable,dkim,spf,surbl,regexp,fuzzy_check"; raw_mode = false; one_shot = false; dns { # nameserver = "master-slave:127.0.0.1:53:10,8.8.8.8:53:1"; timeout = 1s; sockets = 16; retransmits = 5; } classify_headers = [ "User-Agent", "X-Mailer", "Content-Type", "X-MimeOLE", ]; history_rows = 10000; allow_raw_input = true; words_decay = 10000; local_addrs = "127.0.0.1/32";

• local.d/phishing.conf

  ＋

  設定内容

  フィッシングメールフィルターの設定 このモジュールはメールのURL解析・URLブラックリストとの参照を行う為、 メモリを凄く使うのでモジュール利用時は注意する。 本格的に動かす場合は16GB以上の空きメモリが必要なので、自鯖用途ならモジュールを無効化するか、 メモリを利用する箇所を明示的に無効化しておく 下記ではメモリを大量消費する全モジュールを無効化している phishing { openphish_enabled = false; openphish_premium = false; phishtank_enabled = false; }

• local.d/redis.conf

  ＋

  設定内容

  参照先のRedis指定。対象サーバのIPアドレスを設定 Read/Writeの両方を設定出来る為、Redisをクラスタ構成にしている場合に負荷分散も出来る write_servers = "127.0.0.1"; read_servers = "127.0.0.1";

• local.d/worker-controller.inc

  ＋

  設定内容

  RspamdコントローラとWebGUIログイン情報の設定。 [$ rspamadm pw] コマンドでGUI認証パスワードを生成出来る [password] はGUI閲覧のみ [enable] はGUIから設定変更も可能となり、 [secure_ip] に記載したIPからGUIを閲覧すると認証パスワードが掛からなくなる RspamdClusterを構築する際はAPI代わりにHTTP-GETを送っているので、 認証回避する為に [secure_ip] 設定が必須となる password = "$2$..."; enable_password = "$2$..."; secure_ip = "127.0.0.1";

  　

• 5. WebGUI画面
  RspamdはWebUIを備えており、WebUIからメール解析状況の確認・スパムメール学習などを行う事が出来る。
  通常は、IP:127.0.0.1/TCP:11334で待ち受けているが変更する事も出来る。
  ただし、WebUIは通信暗号化に対応していない為、SSL化を行う場合にはNginxをリバプロ動作させる必要がある。
  設定方法はオフィシャルで公開されているのでそちらを参照。
  例としてSSL通信を強制しつつ、リバプロ動作させるNginx設定を下記記載する

• nginx.conf

  ＋

  設定内容

  location /rspamd/ { # Reverse proxy proxy_bind 127.0.0.1; proxy_pass http://127.0.0.1:11334/; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # IP access restrict allow 10.0.0.1; allow 10.0.0.2; deny all; # Force SSL/TLS request if($server_port != 443){ return 403; } }

  　

• 6. クラスタリング
  Rspamdはクラスタリング構成を取る事が出来る。
  ただ、クラスタリングと言っても一般的なActive/Activeクラスタでは無く、
  WebUIを通した管理通信をクラスタ内のサーバへ同時適用する事や、
  ステータスをクラスタ全体で合算して表示するなど管理統合に限定される。
  例として Master:10.0.0.1、Slave:10.0.0.2 でクラスタを構築する設定例を記載する

• local.d/options.inc

  ＋

  設定内容

  クラスタ構成するWebUIのURLを設定する。 下記ではhost/pathを設定しているがhostのみでも構築する事が出来る。 pathの値はオフィシャルではトレイリングスラッシュ(最後の'/')を付けていないが、 付けないとAPI接続エラーになるので、path設定時は付与させる。 neighbours { server_a { host = "https://10.0.0.1:443"; path = "/rspamd/"; } server_b { host = "https://10.0.0.2:443"; path = "/rspamd/"; } }

• local.d/worker-controller.inc

  ＋

  設定内容

  クラスタ用のWeb通信を認証なしで通す為、 クラスタノードからの接続をパスワード認証無しにする。 secure_ip = "10.0.0.1"; secure_ip = "10.0.0.2";

  
  

スパム判定†

• A. 正規・迷惑メール学習
  正確にメール判定を行う為には大量のスパムメールと正規メールの学習が必要になる。
  本番環境で行う場合、ユーザ領域を直接処理するとデッドロックする可能性がある為、
  ProcMail等で全メールをコピーしておき、別処理として学習させる。

  ・迷惑メール学習(1通)
  # rspamc -c bayes -h 127.0.0.1:11334 learn_spam /${FilePath}/mail.eml
  
  ・迷惑メール学習(複数)
  # rspamc -c bayes -h 127.0.0.1:11334 learn_spam /${FilePath}/
  
  ・正常メール学習1通)
  # rspamc -c bayes -h 127.0.0.1:11334 learn_ham /${FilePath}/mail.eml
  
  ・正常メール学習(複数)
  # rspamc -c bayes -h 127.0.0.1:11334 learn_ham /${FilePath}/

  　
• B. 迷惑メールヘッダー
  milter_headerの設定値により迷惑メールヘッダーの値が変化する。
  大別して、詳細パラメータで制御を行う物と、シンボル制御の2種類がある。
  詳細は公式ドキュメントのmilter_headerを読む事。
  • "x-spamd-bar"

    ＋

    ヘッダー情報

    通常のメール <X-Spamd-Bar: -> スパムメール <X-Spamd-Bar: +>

• "x-spamd-result"

  ＋

  ヘッダー情報

  通常のメール <X-Spamd-Result: default: False> スパムメール <X-Spamd-Result: default: True>

• "x-spam-status"

  ＋

  ヘッダー情報

  通常のメール <X-Spam-Status: No, score=X.XX> スパムメール <X-Spam-Status: Yes, score=X.XX>