Linux/Distribution/GlusterFS の履歴(No.4)

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ]

履歴一覧
差分を表示
現在との差分を表示
ソースを表示
Linux/Distribution/GlusterFS へ行く。
- 1 (2018-01-28 (日) 15:09:26)
- 2 (2018-01-28 (日) 16:53:07)
- 3 (2018-01-28 (日) 21:41:47)
- 4 (2018-06-17 (日) 23:11:58)

GlusterFS†

RedHatにより開発されている分散ファイルシステムの一種。
ファイルシステムではあるがコアプログラムはアプリケーション層(ユーザ空間)で動作する。
ファイルシステムのマウントもFUSE・NFSなど様々な物が用意されている為、
用途・環境に併せてシステム構成を変更出来る。
　
GlusterFSは、RAID0/1/5相当の処理をアプリケーションとして実装しているが、
大容量ファイルの処理が早い為、10GigabitEthernetを積んでHCI環境で利用する場合が多い。

↑

参考サイト†

↑

構築環境†

OS：openSUSE Leap 42.3
Type：3-Node Replicate

Volume：volgfs
　

Parameter	Node-A	Node-B	Node-C
IP Address	10.0.0.1	10.0.0.2	10.0.0.3
Brick HDD	/dev/sdb	/dev/sdb	/dev/sdb
Brick DIR	/brick	/brick	/brick
Brick FS	xfs	xfs	xfs
Mount SYS	FUSE	FUSE	FUSE
Volume DIR	/gluster	/gluster	/gluster
Volume FS	glusterfs	glusterfs	glusterfs

↑

インストール†

1. リポジトリ追加
openSUSEでGlusterFSをインストールする場合、ファイルシステムリポジトリを追加する必要がある。
その為、リポジトリを追加した後にGlusterFSのプログラムをインストールする。
また、GlusterFSをネイティブマウントを行う為に、FUSEもインストールする。
```
# zypper addrepo https://download.opensuse.org/repositories/filesystems/openSUSE_Leap_42.3/filesystems.repo
# zypper refresh
# zypper install glusterfs fuse
```
　
2. サービス起動
GlusterFSはファイルシステムだが、前途の通りアプリケーションの一種なのでデーモンを起動する。
デフォルトでは自動起動が無効化されている為、デーモンの自動起動も設定する。
```
# systemctl unmask glusterd
# systemctl enable glusterd
# systemctl start glusterd
# ps -ef | grep glusterd
```

3. ログローテート
デフォルトではログローテート設定が無いので手動作成する。
ローテートオプションについては環境に合わせて設定する。

# vi /etc/logrotate.d/glusterfs
---
/var/log/glusterfs/*.log
/var/log/glusterfs/bricks/*.log
{
    weekly
    compress
    rotate 4
    missingok
    ifempty
    create 600 root root
    sharedscripts
    postrotate
        systemctl restart glusterd.service > /dev/null
    endscript
}

4. Brickの準備
GlusterFSの一時ファイルを格納するBrick領域を準備する。
Brick領域のファイルシステムは、[xfs]または[ext4]しか利用出来ない。
オフィシャルではxfsを推奨しているので今回はxfsでフォーマットする。
　
Brick領域のパーティションはrootパーティション[/]以外、
物理HDDもrootパーティションを格納しているHDD以外にしないと、
GlusterVolume作成時に警告が出るが、強制実行オプションで無視する事も出来る。
```
# fdisk /dev/sdb
# mkfs.xfs -i size=512 /dev/sdb1
# mkdir /brick
# mount -p /dev/sdb1 /brick
# blkid /dev/sdb1
# echo "UUID=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX  /brick  xfs  defaults  1  2" >> /etc/fstab
```

↑

ピアリング†

1. iptables
GlusterFSはファイル同期にTCP/IPを使う為、下記リストの通信許可が必要となる。
ただし、利用するポートは種類が多くiptablesで確実に制御するのは難しい為、
セキュリティ上の問題が無ければホスト単位で通信許可する方が良い。

Protocol	Port	Description
TCP	111	portmap/rpcbind
UDP	111	portmap/rpcbind
TCP	2049	NFS
UDP	2049	NFS
TCP	24007	GlusterFS Daemon
TCP	24008	GlusterFS Management
TCP	24009～Brick	GlusterFS versions earlier than 3.4
TCP	38465～38467	Required for GlusterFS NFS service
TCP	49152～Brick	GlusterFS versions 3.4 and later

＋

補足事項

上記の通信許可リストの内、BrickPort(～Brick)はノードが格納するBrick数に比例して範囲で許可する必要がある。
その為、BrickPortはGlusterVolumeの設計によって可変する為、基本は8ポート分くらい多めに見積もってポート開放する。
決め打ちで許可を行う場合は下記を参考に通信許可するポート範囲を決める。

Node/Brick	Protocol	Port [First～v3.4]	Port [v3.4～Latest]
1PC/1Brick	TCP	24009	49152
1PC/2Brick	TCP	24009～24010	49152～49153
1PC/3Brick	TCP	24009～24011	49152～49154
2PC/1Brick	TCP	24009	49152
2PC/2Brick	TCP	24009～24010	49152～49153
2PC/3Brick	TCP	24009～24011	49152～49154

　
iptablesでポート範囲指定の通信許可を行う場合の設定例を記載。
8Brick(1PC/8Port)分を確保する場合は下記のようになる。

# iptables -I INPUT -s ${srcIP} -p tcp --dport 111         -j ACCEPT
# iptables -I INPUT -s ${srcIP} -p udp --dport 111         -j ACCEPT
# iptables -I INPUT -s ${srcIP} -p tcp --dport 2049        -j ACCEPT
# iptables -I INPUT -s ${srcIP} -p udp --dport 2049        -j ACCEPT
# iptables -I INPUT -s ${srcIP} -p tcp --dport 24007:24008 -j ACCEPT
# iptables -I INPUT -s ${srcIP} -p tcp --dport 24009:24017 -j ACCEPT
# iptables -I INPUT -s ${srcIP} -p tcp --dport 38465:38467 -j ACCEPT
# iptables -I INPUT -s ${srcIP} -p tcp --dport 49152:49160 -j ACCEPT

2. GlusterPeer設定
GlusterFSのストレージプールを作成する為、クラスタに参加するノードを設定する。
ピア設定はクラスタ内のノード1台で設定すれば全台に自動反映される。
下記は『Node-A：10.0.0.1』で実行する場合のピア接続コマンドとなる。

# gluster peer status
# gluster peer probe 10.0.0.2
# gluster peer probe 10.0.0.3
# gluster pool list
---
UUID                                    Hostname     State
XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX    10.0.0.2     Connected
XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX    10.0.0.3     Connected
XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX    localhost    Connected

↑

ファイルシステム†

1. ボリューム作成
本来、Brickはマウントポイント直下ではなく、サブディレクトリ上に作成する必要があるが、
今回は『1Volume/1Brick/3Node-Replica』の構成なのでサブディレクトリを作成せず、
マウントポイントをそのままBrick領域として利用する為、[force]オプションを付けて強制作成する。
　

＋

コマンド

・ボリューム作成

# gluster vol create volgfs replica 3 10.0.0.1:/brick 10.0.0.2:/brick 10.0.0.3:/brick force
---
volume create: volgfs: success: please start the volume to access data

　
・ボリューム開始

# gluster vol start volgfs
---
volume start: volgfs: success

　
・ステータス確認

# gluster vol status
---
Status of volume: volgfs
Gluster process                                     Port    Online  Pid
-------------------------------------------------------------------------
Brick 10.0.0.1:/brick                               49152   Y       XXXXX
Brick 10.0.0.2:/brick                               49152   Y       XXXXX
Brick 10.0.0.3:/brick                               49152   Y       XXXXX
Self-heal Daemon on localhost                       N/A     Y       XXXXX
Self-heal Daemon on 10.0.0.2                        N/A     Y       XXXXX
Self-heal Daemon on 10.0.0.3                        N/A     Y       XXXXX
-------------------------------------------------------------------------

2. ファイルシステムのマウント
GlusterFSはマウント先ノードが停止していた際、自動的に他ノードを再マウントするフォールバック機能がある。
NFS/FUSE両方とも利用する事が出来るが、NFSでマウントしてフォールバックすると、
ローカルファイルシステムを経由してフォールバック先へアクセスする為アクセス速度が遅くなる。
今回はマウント先を直接変更出来る、FUSEマウントを利用してネイティブフォールバックを行い、
Replica構成でも一定のアクセス速度を保てるようにする。
　

＋

コマンド

・Node-A

# mkdir /gluster
# mount -t glusterfs 10.0.0.1:/volgfs /gluster -o backup-volfile-servers=10.0.0.2:10.0.0.3
# echo "10.0.0.1:/volgfs  /gluster  glusterfs  defaults,_netdev,backup-volfile-servers=10.0.0.2:10.0.0.3  0  0" >> /etc/fstab

　
・Node-B

# mkdir /gluster
# mount -t glusterfs 10.0.0.2:/volgfs /gluster -o backup-volfile-servers=10.0.0.3:10.0.0.1
# echo "10.0.0.2:/volgfs  /gluster  glusterfs  defaults,_netdev,backup-volfile-servers=10.0.0.3:10.0.0.1  0  0" >> /etc/fstab

　
・Node-C

# mkdir /gluster
# mount -t glusterfs 10.0.0.3:/volgfs /gluster -o backup-volfile-servers=10.0.0.1:10.0.0.2
# echo "10.0.0.3:/volgfs  /gluster  glusterfs  defaults,_netdev,backup-volfile-servers=10.0.0.1:10.0.0.2  0  0" >> /etc/fstab

↑

チューニング†

1. パフォーマンス設定
GlusterFSの高速化と可用性向上の為パフォーマンスチューニングを行う。
突き詰めたチューニングを行う場合、kernelチューニングも必要になるが、
kernelチューニングをすると他への影響が出る場合もあるので、今回はGlusterFSのみ設定する。

Managing GlusterFS Volumes

SCSK GlusterFS紹介

・スプリットブレイン時、ノードが55%以上参加するクラスタをMasterとして稼働
# gluster vol set all cluster.server-quorum-ratio 55%

・Quorumの算出方法をクラスタ内のノード数に設定
# gluster vol set volgfs cluster.server-quorum-type server

・Quorumのデフォルト値をノード過半数に設定
# gluster vol set volgfs cluster.quorum-type auto

・死活監視の間隔を5秒に設定
# gluster vol set volgfs network.ping-timeout 5

・GlusterFSのNFSマウント機能を停止
# gluster vol set volgfs nfs.disable true

・GlusterFSのキャッシュメモリを512MBに変更
# gluster vol set volgfs performance.cache-size 512MB

・GlusterFSの最大ファイルキャッシュサイズを64MBに設定
# gluster vol set volgfs performance.cache-max-file-size 64MB

・GlusterFSの最小ファイルキャッシュサイズを1KBに設定
# gluster vol set volgfs performance.cache-min-file-size 1KB

2. パフォーマンス設定
GlusterFSのNFSマウント機能を停止した時、
バージョンによっては下記の様なエラーが大量に出力される場合がある。
```
0-management: readv on /var/run/gluster/XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.socket failed (Invalid argument)
```
　
古いバージョンのバグが原因だが、設定変更でログ出力を抑制する事が出来る。
今回の設定例ではGlusterFSのNFSを停止している為、下記のエラーログ抑制を行い上記のログ出力を停止する。
```
# gluster volume set all nfs.disable true
# systemctl stop glusterd
# rm /var/log/glusterfs/etc-glusterfs-glusterd.vol.log
# systemctl start glusterd
```
　
3. ウェルノウンポート衝突
- Red Hat Bugzilla -Bug 762989
- CLIENT_PORT_CIELING (sic)

GlusterFSがBrickに接続する際、宛先ポートはTCP:49152から昇順にアクセスするが、
ローカルポートはTCP:1024から開いている番号の降順に利用する。
その為、GlusterFS環境下でIMAPS(TCP:993)やPOP3S(TCP:995)を構築するとポート番号の衝突が多々発生する。
この場合、GlusterFSの「開いている番号を降順に利用」する仕様を応用し、
GlusterFSが起動する前に、IMAPS/POP3Sのサービスを起動する事で回避出来る。
　
＋

コマンド
GlusterFS
# vi /usr/lib/systemd/system/glusterd.service
---
[Unit]
After=network.target rpcbind.service postfix.service dovecot.service
Before=network-online.target
Postfix
# vi /usr/lib/systemd/system/postfix.service
---
[Unit]
After=var-run.mount nss-lookup.target network.target time-sync.target
Before=glusterd.service
Dovecot
# vi /usr/lib/systemd/system/dovecot.service
---
[Unit]
After=local-fs.target network.target
Before=glusterd.service