ログを吐かない機器の壊れ方を読む(アンマネージドハブ全ポート死のメモ)
ある会話で、自宅の20年物のスイッチングハブが壊れた話が流れてきた。切り分けの筋道がきれいだったので追いかけていたら、PHY って何だっけ、コンデンサって電気を溜めるやつだっけ、という程度に自分の理解が怪しいことが判明した。調べ直したついでに書いておく。
まとめ
- アンマネージドハブは自分では何も記録しない。障害時刻は配下の機器のログから逆算するしかない
- 「一部の機器が生き残った」は部分故障の証拠にならない。読み違えると疑う先ごと変わるので、まず配線の経路を疑う
- 全ポートが同時に死ぬのは共通の電源レールの故障を示す。ポート単位のチップが同時に壊れる確率は低い
- 電源LEDだけ点灯しているのは「電源はあるが汚い」のサイン。LEDは鈍感でICは繊細、という食い違いが出ている
障害時刻はハブ以外から逆算する
「金曜の11:22に壊れた」と分単位で言えていたのが最初に引っかかった。アンマネージドハブは SNMP もログも持たないので、自分が落ちたことを申告できない。
分かるのは「ハブ配下の機器が一斉に落ちた時刻」で、それをハブのダウン時刻と推定しているだけだ。時刻を刻んでいる候補はこのあたり。
表1: 障害時刻を取れる情報源
| 情報源 | 何が記録されるか | 精度 |
|---|---|---|
サーバの kernel log(dmesg / journalctl) | NIC Link is Down | 秒単位。最も強い |
| ルータ側のログ | ハブに向いたポートの link down / DHCP リース断 | 秒〜分 |
| 外形監視(Uptime Kuma / Zabbix 等) | ping・HTTP の疎通断 | ポーリング間隔次第 |
| トラフィックグラフ(Grafana / RRD) | 転送量がゼロに落ちた点 | グラフの粒度 |
| スマートプラグ・UPS の電力ログ | ハブ自身の消費電力が落ちた瞬間 | ここだけ直接証拠 |
「11:22」という分単位の丸まり方からすると、監視ツールの検知時刻か通知の到着時刻を読んでいる線が濃い。カーネルログなら秒まで言えるはずなので。
上流がマネージドスイッチや業務用ルータなら、ハブに向いたポートの link down が上流に残る。実質「ハブの電源断時刻」がほぼ直接取れるので、この構成なら精度は上がる。
「生き残った機器」は部分故障の証拠にならない
この事例で一番おもしろかったのがここ。
無線APだけが通信できていた。それを見て「ポートによっては生きていたのか」と読んだ人がいたが、実際は違った。無線APは そもそも壊れたハブを通っていなかった のだ。ルータ横の別のハブにぶら下がっていただけで、経路が違ったから巻き込まれなかった。
同じ「一部が生きている」という観測から、疑う先が二つに割れる。
- ポート単位の部分故障 → ハブは半死。生きているポートに繋ぎ替えれば使える
- 経路が別 → ハブは全損。繋ぎ替える先はそのハブの中にはない
打つ手がまるで変わるので、ここを間違えると復旧作業ごと空振りする。配線トポロジを把握していないと、症状だけからは決められない。 生き残った機器を見るときは、それが本当に同じ経路を通っているかを先に確認する
全ポート死と「電源LEDだけ点灯」が指すもの
ハブの中はざっくり2段構えになっている。
LANポート ──[ PHY ]── [ スイッチIC(転送処理) ]── [ PHY ]── LANポート
↑ ↑
電気信号 ⇄ ビット どのポートへ流すか判断PHY は PHYsical の略で、物理層を担当するチップ。デジタルの0と1とケーブル上の電気信号を相互変換し、オートネゴシエーションとリンク検出をやる。そして ポートのリンクランプは、PHY が「相手を見つけた」と言ったときに点く
つまり全ポートのリンクランプ消灯は、PHY が1つも動いていないという意味になる。ポートの数だけある PHY が揃って同時に壊れる確率はほぼないので、共通の電源レールが死んだと読める。
残るのが「電源LEDだけぽつんと点いている」という状態。電源部の構造はこうなっている。
AC → 平滑コンデンサ → DC-DCレギュレータ → 3.3V/1.0V等 → スイッチIC・PHY・リンクLED
↘ 電源LED(一次側の近くから引くことが多い)電源LEDは少しの電流が流れれば光るだけの雑な負荷だから、下流のレールが崩れていても点きっぱなしになる。ICのほうは安定した電圧を求めるので、波が乗った時点で動かない。つまり LEDだけ点くというこの食い違いが、「電気は来ているが品質が死んでいる」を意味している
電解コンデンサが疑われるのは、劣化の仕方がこの症状と噛み合うからだ。中身は電解液という液体で、年月と熱で蒸発していく。抜けると起きるのは二つ。
- 容量が減ってタンクが小さくなり、電圧の谷を埋めきれず波が残る
- ESR(内部抵抗)が上がってタンクの蛇口が細くなり、ICの瞬間的な電流要求に間に合わず電圧が落ち込む
どちらも「電圧は一応出ているのに汚い」を作る。テスターを当てると正常に見えるのに動かない、という厄介な壊れ方。固体のセラミックやフィルムには寿命がなく、液体を抱えた電解コンデンサだけが枯れていく。自分はコンデンサを「電気を溜める部品」としか思っていなかったが、電源部での本業はタンクとしての即応性のほうだと知って、ようやくこの症状が腑に落ちた。
20年物という条件が効いている
問題のハブは2006年発売のギガビット対応機(5ポート/8ポートの兄弟モデル)だった。この仕様が悪い方に効いている。
表2: 仕様と寿命への影響
| 仕様 | 寿命への意味 |
|---|---|
| ACアダプタ不要(電源内蔵) | AC-DC変換の発熱源とコンデンサが同居する |
| ファンレス | 強制排気なし。放熱は筐体まかせで内部温度が上がる |
| 2006年発売 | 不良電解液問題(1999〜2007年頃)の末期にあたる |
| 24時間通電で20年 | 累積17万時間超 |
電解コンデンサの寿命は「10℃下がるごとに倍」で見積もるが、どんな数字を置いても20年連続通電は設計寿命の外側になる。105℃/5000時間の良品を内部50℃で回してようやく20年強、85℃品なら10年もたない計算だ。むしろ20年動いたほうが健闘している。
ひとつ厄介なのが切り分け手段。外付けACアダプタ機なら手持ちのアダプタに差し替えるだけで電源系かどうかを数十秒で判定できる。ところが 電源内蔵機ではこの手が使えない ため、開腹一択になる。一次側に高圧が残るので抜線直後に触るのも危ない。「ACアダプタ不要で堅牢」という当時の売り文句が、20年後には切り分けのしにくさとして返ってきている。
今どき同等品は1,500〜3,000円で買えるし、当時のギガビット機は消費電力が現行機より大きい。省電力イーサネット(IEEE 802.3az、2010年策定)にも当然非対応。修理はもう趣味の領域だと思う。
持ち帰り
何も喋らない機器の障害は、周りに残った痕跡と壊れ方から切り分ける。
- 時刻は配下のログから逆算する。機器自身は自分の死を申告しない
- 何が死んで何が生きたかを並べる。ただし生き残った理由が「経路が違うだけ」でないかを先に潰す
- 複数が同時に死ぬなら、共通の親(電源・上流ポート・電源タップ)を疑う
- 一部だけ生きているときは、動いている部品と死んだ部品が求める品質の差を見る。鈍感なものだけ生きているなら、量ではなく質の問題