操作系统:
- Ubuntu 22.04.5 LTS
- Kernel:6.8.0-60-generic
GPU:
- NVIDIA H200
- Driver:580.159.03
一、故障现象
服务器正常启动后,GPU 无法识别。
执行:
nvidia-smi返回:
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.说明:
NVIDIA 用户态工具已经安装,但是无法与 Kernel Driver 通信。
二、故障影响
影响范围:
- GPU 全部不可用
- CUDA 无法使用
- Docker GPU 容器无法启动
- AI 训练全部中断
- NCCL 通信失败
- CUDA Runtime 初始化失败
属于P1 级故障。