算力机房常遇到 GPU 莫名掉卡，nvidia-smi检索不到显卡，大模型训练直接中断，停机损失高昂。 多数运维仅重启、重装驱动，只能临时缓解。本文整理 8 类掉卡核心诱因，搭配阶梯式自查方案，快速定位根源。
一、两种掉卡类型快速区分
间歇性掉卡：开机正常，满载运行一段时间离线，重启恢复，多为虚焊、供电、散热问题；
完全无法识别：上电全程无显卡信号，多为接口烧毁、供电击穿、主板硬件损坏。
二、8 大掉卡故障原因及处理方案
驱动 / 固件不匹配 更新驱动、系统后频发丢卡，日志出现 PCIe 总线报错。 方案：更换官方适配驱动，同步升级 BMC、GPU 固件。
SXM 连接器氧化烧蚀 固定卡槽反复故障，互换显卡后故障随卡转移。 方案：轻度清洁金手指；针脚烧毁需更换全新连接器。
供电元器件老化损坏 空载正常，一跑满载立刻掉卡，12V 供电电压大幅跌落。 方案：更换失效 MOS 管、电容，修复供电回路。
GPU 核心 BGA 虚焊 低温可识别，升温满载直接离线，冷热工况故障差异明显。 方案：无尘车间重新植球焊接，修复底层断裂焊点。
PCIe Switch 过热虚焊（多卡集群高发） 多块显卡同步离线，伴随 NVLink 链路报错。 方案：优化散热，重焊 Switch 芯片焊点。
散热失效触发高温保护 显卡温度突破 85℃后瞬间离线，冷却重启恢复。 方案：清理积灰、更换导热耗材；液冷机型疏通冷板、排查漏液。
服务器托盘底板电路故障 整机所有 GPU 均识别异常，更换显卡无改善。 方案：检修主板时钟、复位电路。
HBM 显存隐性损坏、掉卡，同步伴随大量 ECC 报错，加载算力任务就离线。 方案：整套 HBM 显存更换，完成全通道稳定性测试。
三、由浅入深三层排查步骤
线上无损检测（不用拆机） 运行 DCGM 诊断，查看系统硬件日志，重启驱动进程，低负载观察稳定性。
拆机基础自检 断电拆下显卡，清洁 SXM 金手指；万用表检测 12V 阻抗；交叉换卡区分故障源。
专业芯片级检测 简易排查无结果，送至专业机构，依靠热成像、3D X-Ray 定位隐性虚焊、短路故障。
四、运维避坑提示
显卡频繁掉卡不要反复上电、长时间满载测试，会加重硬件损伤，严重时直接烧毁 GPU 核心，造成整卡报废。 出现持续性离线故障，及时停机断电，发送 DCGM 日志即可免费远程诊断。
维核智算专业解决 H100/H200/B200/H800/A100 各类掉卡故障，配备全套 3D X-Ray、全自动 BGA 维修设备； H 系列修复率 98%，常规维修周期 3-7 天，加急 24 小时交付，维修统一质保 3 个月，风冷、液冷算力卡均可检修