南方數據技术观察
首页行业新闻技术文章 官网 咨询与报价
首页 / 技术文章

机房现场事故的三分钟判断法

机房现场出事时,最贵的不是故障本身,而是站在机柜前不知道先看什么的人。多数现场事故——服务器失联、交换机端口异常、整柜掉电——在头三分钟内就能完成初步定性:是硬件故障、电源问题,还是网络链路问题。这直接决定你是重启一台机器,还是立刻上报并启动备用链路。下面这套“三分钟判断法”,按指示灯 → 电源 → 网络 → 上报的顺序执行,每一步都有明确的通过/不通过标准。

第一分钟:先看指示灯,别先动手

到场后第一动作是看,不是插拔。指示灯是最快的故障编码系统:

  • 服务器电源灯:熄灭说明供电或 PSU 问题;常亮但不亮硬盘活动灯,可能是死机或卡在 POST。
  • 硬盘指示灯:某块盘常亮红色或琥珀色(多数厂商如此,具体看机型手册),基本可判定单盘故障,RAID 阵列可能已降级。
  • 交换机端口灯:绿灯闪烁正常;熄灭说明对端没起来或线缆/光模块问题;橙色常亮在很多型号上表示端口被 STP 阻塞或 err-disable。
  • 带外管理灯(iLO/iDRAC/IPMI):如果带外灯亮但业务口灯灭,问题大概率在业务网卡或驱动层面,机器本身还活着。

这一分钟要克制:不要按电源键,不要拔线。看清楚并记录每个灯的状态,这些信息是后续上报时的第一手证据。

第二分钟:查电源链路,从 PDU 到 PSU

如果电源灯熄灭,沿着供电链路从近到远排查:

  1. PSU 状态:双电源服务器看两个 PSU 灯是否都亮。只亮一个,说明单路市电或 PDU 支路断了,机器靠另一路撑着——这是隐患不是事故,但必须当天处理。
  2. PDU 面板:智能 PDU 看当前负载和断路器状态。假设一台 42U 机柜 PDU 标称 16A,实际负载长期跑在 13A 以上,新上架设备就可能触发跳闸(此为示例值,实际以机房供电规格为准)。
  3. 配电柜空开:PDU 正常但整柜没电,问题在列头柜或机房配电,这已经不是你能处理的范围。

采购侧的提示:验收新机柜时,把 PDU 每路实际负载和空开规格核对一遍,很多“莫名掉电”是上架时负载估算错误埋下的。

第三分钟:网络连通性分层测试

电源正常但业务不通,按链路从下往上测:

  • 物理层:交换机端口灯和网卡灯是否匹配。一边亮一边灭,先怀疑线缆或光模块,换一根备线是最快的验证手段。
  • 链路层:在交换机上查接口状态,show interface 看 errors、CRC 计数是否持续增长。CRC 增长基本锁定线缆/模块劣化。
  • 网络层:从带外管理口 ping 网关,再 ping 核心交换机。网关通但外网不通,问题在上联或运营商侧;网关都不通,问题在本机或接入层。

三层都通但业务仍异常,那大概率是应用或系统层问题,现场三分钟判断到此为止,交给远程团队处理。

什么时候必须上报,不要自己扛

判断法的最后一步是决策。以下情况立即上报,不要尝试自行恢复:

  • 涉及整柜或整列掉电、列头柜跳闸——这是机房配电问题,需机房方介入。
  • 核心或汇聚交换机异常,影响多台设备——自行重启可能造成更大范围中断。
  • RAID 已降级且无法确认热备盘状态——此时任何误操作都可能让阵列彻底失效。
  • 判断不了原因且已超过三分钟——带着记录到的指示灯状态、PDU 读数、ping 结果上报,比空手说“机器挂了”有价值得多。

现场检查清单

  1. 到场先拍照记录所有指示灯状态,再动手。
  2. 双电源设备确认两路 PSU 都亮,单路供电当天补齐。
  3. 查 PDU 负载与空开规格,确认不是过载跳闸。
  4. 网络问题按“端口灯 → CRC 计数 → ping 网关 → ping 核心”顺序测。
  5. 备线缆、备光模块、备 SFP 常驻现场工具包。
  6. 整柜掉电、核心设备异常、RAID 降级三种情况直接上报,不自行处理。
  7. 上报时附带:时间线、灯态记录、已执行的测试命令及结果。

三分钟判断法的价值不在快,而在把现场信息结构化。同一套动作每次都执行,团队才有共同的故障语言,采购和运维之间也才有据可谈的 SLA 和备件清单。

本文由 南方数据技术博客编辑整理,涉及具体环境时请以官方文档与实际配置为准。

返回列表