2025年05月31日(土) - 21:29 | カテゴリ:
Linux
それは、唐突に起きた―――
実は、一昨日から自宅サーバのCPU負荷が高騰してアラートが定期的に発生していた。
筆者も平日は本職の方にかかりっきりで自鯖は弄れないのと、今週は佳境だったので放置してたが、
万が一クラッキングされていたら洒落にならないのでログを確認してみた。
結果、Google CloudのグローバルIPからScrapyを使ったWebスクレイピングが大量に行われ、
コレが原因で各システムのCPU負荷が上がった状態だった。
筆者が管理しているWebサーバの内1台でシステム負荷を見ると次の状況だった。
約2時間の周期でCPU負荷が飽和する位の処理が発生し、
ネットワーク観点だとTCPセッション数が瞬間的に1,500～2,000に高騰していた。
なお、スクリーンショットだとTIME-WAITのみセッション数がバーストしているが、
システム監視の周期都合なので実際はESTABLISHEDも同数が発生していた状況となる。
CPU負荷に周期性がある事からBOTで機械的に処理をされていると予測しつつ、
インターネット回線からWebサーバまで各種ログを確認したところ、
Google CloudのグローバルIPからScrapyのWebスクレイピング通信が大量に来ていた。
実際に来たHTTPクエリのログがこちら。
明確にScrapyのUser-Agentが記録されており、利用バージョンは2.11.2と少し低めの模様。
Webサイトのトップページから準繰りに全ページを辿っている状態で中々のクエリ数になっていた。
………
筆者が趣味で管理するサーバでは悪質で無ければWebスクレイピングを禁止していないが、
今回は結構なクエリが来ていた事もあり遮断しようか迷いつつ様子見していた。
本来なら、この記事を書く直前に遮断して記事にしようと思っていたものの、
夜中にWebスクレイピング自体が止まっていた。
Scrapy爆弾の報告がTwitterでも上がっていたので、
誰かがGoogleに通報したかWebスクレイピングを実行した管理者が止めたのでは無いかと思う。
通信が止まっているので筆者も様子見継続だが、
システム負荷が上がり切るレベルの高頻度Webスクレイピングはマナー違反だと思う (´・ω・`)
AIの時代だしWebスクレイピングをするなとは言わないが、やるとしても加減はして欲しいと感じた。
« 続きを隠す
2025年05月24日(土) - 19:30 | カテゴリ:
Network
前回の通り、自宅に導入したAironet 2800を連日弄ってチューニングしている筆者。
だが、約半数という結構な高頻度で無線LANへの接続が出来ない事象が起きており、
どうした物かと首を捻っている昨今だったりする (´・ω・`)
Android/iPhoneの両方で接続が出来ない事象が起きているので、
何かしら改善点がある様に感じているが高速ローミングなども既に弄ったので、
コレ以上はコマンドを直接打ち込んでチューニングが必要になるかもしれない。
様々なデバイスを接続して通信テストをしながら経過観察をしているものの、
無線LANは癖が強いデバイスも多く一筋縄ではいかないのが厄介だったりする。
とは言え、普通の家でも無線LANデバイスが増えた昨今を考えると、
無線APと無線LANの安定化は必須事項なので試行錯誤しつつ、
ネットワーク安定化に向けたスキル習得をしてみたい所存。
2025年05月17日(土) - 21:38 | カテゴリ:
Network
エンジニアあるあるの一つに、スマホやノートPCなど無線LANデバイスの多さがあると思う。
筆者の自宅でもスマホとノートPCに始まりゲーム機やテレビなど無線LANデバイスを多数使っており、
接続している物が常に10台を超えている状況となっている。
家電量販店で売っているBuffaloなどの無線ルータも良い物だが、
接続台数が多いとハングアップして使い物にならないので業務用の無線APを使う様にしていた。
今までは古いCisco Aironetを使っていたが、最近調子が悪く通信断が起きていたのと、
Aironetなのに全部をコマンドで設定していたため管理が面倒くさかった。
ルータならコマンド一択だが、無線APはパラメータも多くGUIの方が楽と言わざるを得ない (´・ω・`)
そんな中で無線APを物色していたところナイスな無線APが投げ売りされているのを発見。
これは買うしかないと思ったため久々にネットワーク機器を購入してみた。
という事で、自宅の無線APをCisco Aironet 2800に入れ替えてみた。
ネットワークラック横に置いてある無線APがこちら。
写真にチラッと写っているのは、アライドテレシスのルータとFortigateの2台。
Cisco Aironet 3800は検証用に導入してたが、本職で無線LANを弄る機会が少なくなったため放置していた。
先に書いた通り今まで使っていた物の調子が悪くなったのと、
再び無線LANの挙動を追いかける必要が出てきたため、これ幸いと自宅の無線APを全部入れ替える事にした。
今までのPoEインジェクターがIEEE802.3af対応でCisco Aironet 2800が正常に動かなかったため、
PoEインジェクターもAIR-PWRINJ6に刷新することになった。
当初、電力不足に気づかず古いPoEインジェクターで起動したら、
LEDが赤・赤・緑で点滅し続けてSSIDを吹いてくれなかった。
故障品を疑いつつもググったら次のブログで同様の事象が起きていたため気づく事ができた。
………
筐体がMobility Expressを使える物だったので管理系に採用。
コレでCLIから脱却しつつコントローラー管理に移行出来たのは嬉しかった。
だが、Mobility ExpressはNative VLANが必要だったりとL2の操作も必要だったり癖が強く試行錯誤中。
先のPoEインジェクターもCDP/LLDPの設定をスイッチに入れる必要があった。
私物スマホと本職で使うノートPCの接続先を切り替えて様子見しているが、
5GHzで通信している時に電波強度が突然弱くなってしまうためパラメータを見直し中。
W52で吹いていても同様なので何処かで競合している気もするが、状況を見ながら調整しようと思う。
自宅に業務用ネットワーク機器を入れるのは、
システム障害と時間を気にせず試行錯誤出来るのが最大の楽しみなので、今の内に弄っておきたいところ。
« 続きを隠す
