#author("2018-12-07T22:17:04+09:00","default:nowsky","nowsky") *Kernel [#t94d3946] OSの中核となる基本コンポーネントプログラム。 実デバイスとプログラムの中継をしたり、デバイス制御を行う為に必要となる。 Linuxの場合は [[Kernel Archives:+https://www.kernel.org/]] で公開されている物を使っている事が多い。 他UNIXの場合は独自ビルドしたカーネルを利用している場合もある ~ *PCI-E ASPM [#jaaeecb8] PCI-Expressには省電力機能としてASPM(Active State Power Management)が実装されている。 対応しているマザーボード・OSを利用する事で、利用していない&color(#ff0000){PCI-Eデバイスを停止させて省電力化};する事が出来るが、 対応していない環境や仮想環境で利用すると、&font(b){&color(#ff0000){意図しないシステムダウンが発生};};する。 特に、古いサーバに最新のOSを利用した時に発生する事が多いのと、 ログが残らずにシステムダウンする為、原因特定に時間のかかる場合が多い システムダウンを回避するには、ASPMをDisableした後にOSを再起動をする必要がある。 #region(&color(#ff0000){ASPMの停止手順};) -&font(b){参考サイト}; [[CentOS6.2を使っていて突然ネットワークがダウンした話:+http://tsunokawa.hatenablog.com/entry/20120912/p1]] -&font(b){[GRUB1]}; /etc/grub.conf kernel行の最後に &color(#ff0000){"pcie_aspm=off"}; を追記してOS再起動 title CentOS (2.6.32-xxx.yyy.x86_64) root (hd0,0) kernel /vmlinuz-2.6.32-xxx.yyy.x86_64 【中略】 rhgb quiet pcie_aspm=off initrd /initramfs-2.6.32-xxx.yyy.x86_64.img -&font(b){[GRUB2]}; /etc/default/grub GRUB_CMDLINE_LINUXの最後に &color(#ff0000){"pcie_aspm=off"}; を追記した後、grub2-mkconfigで設定を作り直してOS再起動 GRUB_TIMEOUT=5 GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)" GRUB_DEFAULT=saved GRUB_DISABLE_SUBMENU=true GRUB_TERMINAL_OUTPUT="console" GRUB_CMDLINE_LINUX="【中略】 rhgb quiet pcie_aspm=off" GRUB_DISABLE_RECOVERY="true" --- # grub2-mkconfig -o /boot/grub2/grub.cfg -&font(b){確認コマンド}; 下記の実行結果が表示されれば、ASPMが無効化されている # dmesg | egrep -i "PCIE ASPM" --- PCIe ASPM is disabled #endregion ~ *Jool NAT64 [#rbc2d01e] IPv6限定ネットワークからIPv4へ通信を行うには様々な手段が存在するが、 その内の一つとしてDNS64+NAT64によるL3+L4変換が存在する。 Linuxで実装する場合はDNSキャッシュサーバをDNS64モードで動作させた上で、 KernelModuleにNAT64を組み込む必要がある。 [[Jool:+https://www.jool.mx/en/index.html]]は、LinuxKernel用NAT64モジュールの一種であり、 RedHat、Debian、openSUSE、Raspbianなど様々な環境で動かす事が出来る。 #region(&color(#ff0000){Jool組み込み方法};) -&font(b){参考サイト}; [[iOS向けIPv6なNAT64/DNS64の試験ネットワークをRaspberry Pi 3で作る:+http://pslabo.hatenablog.com/entry/2016/07/30/iOS%E5%90%91%E3%81%91IPv6%E3%81%AANAT64/DNS64%E3%81%AE%E8%A9%A6%E9%A8%93%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%92Raspberry_Pi_3%E3%81%A7%E4%BD%9C%E3%82%8B]] [[Linuxだけで実装するNAT64:+http://qiita.com/onifinger/items/45390f414db23adcf2b9]] -&font(b){Kernel再構築}; Raspbian(Raspberry Pi3)でJoolを実装する為には、Kernel再構築(リビルド)が必要となる。 コンパイル時間は、Kernelに組み込むモジュール量に応じて処理時間が増減するが、 ラズパイの処理をコンパイルのみに限定させれば、3~6時間で処理が完了する。 # git clone --depth=1 https://github.com/raspberrypi/linux # cd linux # KERNEL=kernel7 # make bcm2709_defconfig # make -j4 zImage modules dtbs # make modules_install # cp arch/arm/boot/dts/*.dtb /boot/ # cp arch/arm/boot/dts/overlays/*.dtb* /boot/overlays/ # cp arch/arm/boot/dts/overlays/README /boot/overlays/ # scripts/mkknlimg arch/arm/boot/zImage /boot/$KERNEL.img -&font(b){アップデート無効化}; パッケージ管理によるKernel自動アップデートを無効化する # apt-mark hold raspberrypi-bootloader # apt-mark hold raspberrypi-kernel # apt-mark hold raspberrypi-sys-mods # dpkg --get-selections | grep hold -&font(b){Kernel調整}; Kernelパラメータを修正した後に再起動する事で、Joolモジュールを読み込ませる # echo "jool" >> /etc/modules # echo "options jool pool6=64:ff9b::/96" >> /etc/modprobe.d/jool.conf # reboot -&font(b){Joolステータス}; [[Joolドキュメント:+https://jool.mx/en/documentation.html]]に詳細は書いてあるが、主に下記コマンドを使うのでメモ 1).Poolの一覧出力 # jool --pool4 --display 2).セッション数確認 # jool -c -s #endregion ~ *Kernel Build [#w364bb1f] 最新のKernelを利用する時や、通常はサポートしていないモジュールを使う時、 Kernelを自前で再構成(ビルド)する事がある。 ビルドはスクリプトで自動化されているが、新規モジュールのON/OFFは自前で設定する必要がある。 なお、最新Kernelの機能追加・バグ修正は[[LKML:+https://lkml.org/]]で公開されているので読んでおく。 #region(&color(#ff0000){ビルド手順};) -&font(b){参考サイト}; [[The Linux Kernel Archives:+https://www.kernel.org/]] [[LKML.ORG - the Linux Kernel Mailing List Archive:+https://lkml.org/]] -&font(b){ソースコード入手}; Kernelのソースコード&color(#ff0000){(バニラ・カーネル)};は、上記のオリジナルサイトで公開している。 旧バージョンのソースについても[[Web上で公開:+https://mirrors.edge.kernel.org/pub/linux/kernel/]]されている。 # cd /usr/local/src # wget https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.18.8.tar.xz # tar Jxvf linux-4.18.8.tar.xz # cd linux-4.18.8 -&font(b){設定インポート}; 一からビルドオプションを作るのは大変な為、稼働中のKernel設定をインポートして簡略化する。 新規の設定項目は &color(#ff0000){"make oldconfig"}; 実行時にダイアログで設定確認が行われる。 GUIでビルドオプションを作り直したい場合は &color(#ff0000){"make menuconfig"}; を実行して設定し直す。 # make mrproper # cp /boot/config-2.6.32-754.3.5.* .config # make oldconfig # make menuconfig -&font(b){ソースビルド}; ビルドオプションを作成したら、実際にソースコードをビルドする。 ビルドには時間がかかる為、makeコマンドをCPUコア数に応じて並列処理させる。 # make -j 4 bzImage # make -j 4 modules -&font(b){インストール}; ビルドしたKernelをインストールするには様々な方法が存在するが、 汎用性が高い従来の手順でインストールするには下記コマンドを実行する。 下記はver4.18.8のバニラ・カーネルをインストールした場合の手順となる。 # make modules_install # ls /lib/modules # mkinitrd /boot/initramfs-4.18.8.img 4.18.8 # cp .config /boot/config-4.18.8 # cp arch/x86_64/boot/bzImage /boot/vmlinuz-4.18.8 # cp System.map /boot/System.map-4.18.8 # gzip -c Module.symvers > /boot/symvers-4.18.8.gz -&font(b){ブートローダ変更}; 新しいバージョンのKernelから起動させる為、GRUBなどのブートローダを書き換える。 この時、Kernelが起動しなかった場合に備え&color(#ff0000){正常起動する設定は残しておく。}: 下記はGRUBv1でのブートローダ記述例となる。 # vi /boot/grub/grub.conf --- title Vanilla-Kernel v4.18.8 root (hd0,0) kernel /vmlinuz-4.18.8 ro root=UUID=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX rd_NO_LUKS rd_NO_MD <以下略> initrd /initramfs-4.18.8.img -&font(b){旧Kernelの削除}; 旧Kernelの削除は&color(#ff0000){新しいKernelで起動確認が完了したら};実行する。 そうしないと、タイミングによっては起動するKernelが無くなり復旧に時間を要する事になる。 削除対象ファイルのPATHはディストリビューション毎に違う為、ファイルが無い場合は探しつつ作業する。 下記は、v4.18.7のアンインストール手順となる。 # rm -rf /lib/modules/4.18.7 # rm /boot/config-4.18.7 # rm /boot/vmlinuz-4.18.7 # rm /boot/System.map-4.18.7 # rm /boot/initramfs-4.18.7.img # rm /boot/symvers-4.18.7.gz -&font(b){手抜きインストール}; 最近(2018年ごろ)のKernelはイメージ・モジュールビルド、インストールを自動で実行してくれる。 細かい設定を行わない場合は下記コマンドを実行すれば、上記の作業を自動で実行出来る。 # cd linux-4.18.8 # make mrproper # cp /boot/config-2.6.32-754.3.5.* .config # make oldconfig # make -j4 # make install #endregion ~ *ip conntrack [#z1cd45c7] コンテンツ配信サーバ・ロードバランサ等でiptablesを用いてFirewall制御を行っている場合、 iptablesのセッション管理テーブルを使い切り、次の様なエラーがログが出る事がある。 ip_conntrack: table full, dropping packet nf_conntrack: table full, dropping packet この状態では新規のセッションを張る事が出来なくなり、NW通信速度が極端に低下してしまう。 事前に管理テーブル最大値を拡張する事でエラー発生を抑制する事が出来る。 #region(&color(#ff0000){パラメータ};) -&font(b){参考サイト}; [[DMMツチノコブログ:+https://tsuchinoko.dmmlabs.com/?p=755]] [[iptables ip_conntrack/nf_conntrack 拡張:+https://nazx.jp/x/CentOS_TIPS_002]] [[Conntrack tuning:+http://wiki.khnet.info/index.php/Conntrack_tuning]] -&font(b){CentOS6/7 設定例}; CentOS5・CentOS6/7で設定するパラメータが変化する。 sysctlを書き換えた後は「sysctl -p」で適用する必要がある。 # vi /etc/sysctl.conf --- net.nf_conntrack_max = 1048576 net.netfilter.nf_conntrack_max = 1048576 net.netfilter.nf_conntrack_buckets = 131072 net.netfilter.nf_conntrack_expect_max = 2048 -&font(b){パラメータ解説}; conntrackは1セッションで、200~400Byte(概ね350Byte)のメモリを利用する。 セッションテーブルはswapで代用が出来ない点に注意する。 # net.nf_conntrack_max システムが利用出来るconntrackテーブル最大数 下記の「net.netfilter.nf_conntrack_max」と同じ値にする # net.netfilter.nf_conntrack_max システムが利用出来るconntrackテーブル最大数 Firewall系サーバならば「2の20倍」に設定 Applicationサーバならば「2の16倍」程度が良い # net.netfilter.nf_conntrack_buckets conntrackテーブルの実行結果を管理するハッシュテーブル(バケット)サイズ 処理を高効率化する為に「nf_conntrack_max / 8」の値を設定する必要がある # net.netfilter.nf_conntrack_expect_max 音声通信などリアルタイム性が求められるセッション用のテーブル 使わない環境では「2の10~12倍」、音声通信を使う場合は「2の16倍」に設定 #endregion