Mon, 14 Dec 2015 (平成27年) [長年日記]
_ 強行軍で日立・大洗
Chouchou のインストゥルメンタル版購入の興奮も冷めない午前二時半、かねてから誘われていた茨城北部方面の海岸ドライブに出発。計画を立てた友人のこれまでの実績からすると、予定はあってないようなものなのでどんな道中になるのか期待と不安が入りまじる。
（あとで書く）
_ ストーム !
購入したソフトウェアの納品に午後から立ち会わないといけないのでバタバタと出社。代理店の人にセットアップをしてもらって、それを使うことになる人が操作方法の説明を受けるのを後ろから眺めていたら、MS Office との連携がうまくいかないことがわかり、トラブルシューティングのためにソフトメーカーのサポートスタッフがリモート接続できるようツールを使わせてもらいたいと言われ、それをダウンロードして起動させたあたりから社内 LAN の通信が不安定になりだした。
しばらくするとどの PC もまともに通信できなくなり、新ソフトウェアのトラブル対応どころではなくなってしまった。ping が通る時は通るが通らなくなると全然通らないという状況を見る限り、異常な量の通信が LAN 内を飛び交っていて負荷が上がりすぎているのは推測できた（それをきちんと確認できる手段を用意していなかったのは反省点）が、それが何によって引き起こされたのかを絞り込むのにどこから手を着けたらいいものか考えていると、現場に出ていた同僚たちが帰社してその日の作業データをまとめたり日報入力したりする時間帯になっていた。いつ復旧しそうですかと尋ねられるが、こちらとしては見通しも立たないから「明日の朝でいい作業はそうしていただけませんか」と答えるしかない情けないシス管……
まずはマルウェア感染を疑ってクライアント PC は全部シャットダウンしてもらい、動いているのはサーバだけにしてみてもサーバ間の通信状況は通ったり通らなかったりと変化なし。ところが社員がいるフロアから完全隔離してみたら障害がなくなった。試しにもう一度通常状態に戻したらトラブルが出始めて、原因はあっちにあることがわかった。再度サーバ群を切り離してから、クライアント PC は全部シャットダウンしてあるはずなのでどこかに野良機器があるのかとメインのスイッチ近辺を眺めていたら、別館向けの屋外配線用 LAN ケーブルが旧線と先週入れ替えた新線の二本とも同じスイッチに挿してあることに気づいた !
慌てて別館に行くとあっちの人がまだ残っていたので本館との配線を二本とも同じスイッチに挿していないか尋ねたら「新しいほうで通信が不安定だから土曜日から古いのも挿してます」だってさ…… きちんと注意しておかなかった自分のミスだけどがっくりきた。自動判別してくれるようないいスイッチは使ってないんだよーー
ということで、「2 台のスイッチを 2 本のケーブルでつなぐと何が起こる ?」を実体験で学んだ日になったのだった。それにしても、土曜日からそうなっていたというのに丸二日ほど何も起きなかったというのはどうしてなんだろう。これだけが今も残る謎。Active Directory 環境下だと名前解決にブロードキャストは使わないし、ほぼすべての機器が固定で IP アドレスを割り振ってあるのでスイッチがキャッシュを持っていて ARP がブロードキャスト通信をしても全体に影響しなかったとか、そういう幸運な状況だったのだろうか。ネットワークに関してはもっと勉強しないといかんぞ……
