前言某网友在群里发了这张截图$ ollama run qwen3:8b Error: Post http://127.0.0.1:11434/api/generate: dial tcp 127.0.0.1:11434: connect: connection refused然后问我按教程一步步来的为什么还是不行因为教程只告诉你应该怎么做没告诉你会在哪里出错。本文是真实踩坑记录按照从安装到推理的顺序把每一个可能卡住你的点全部列出来并给出经过验证的解决方案。零、从零开始的完整流程先看这个如果你是第一次配置按下面这个顺序走可以绕开 90% 的坑① 确认 WSL 版本为 2 ② 确认 Windows NVIDIA 驱动 ≥ 535有独显时 ③ 安装 Ollama ④ 启动 ollama serve ⑤ 拉取模型 ⑥ 运行测试每一步完成后再进行下一步不要跳步。一、安装前环境检查5 分钟省去后面 2 小时# 步骤 1确认 WSL 版本 wsl --list --verbose # 期望输出Ubuntu-22.04 Running 2 # 如果是 VERSION 1执行wsl --set-version Ubuntu-22.04 2 # 步骤 2确认内核版本 uname -r # 期望5.15 或更高 # 步骤 3确认 NVIDIA 驱动有独显时 nvidia-smi # 期望显示显卡信息和驱动版本实战案例GPU 识别失败场景一位同学配置了 RTX 4070nvidia-smi在 CMD 下正常但在 WSL 里报错bash: nvidia-smi: command not found排查过程# 检查驱动是否透传 ls /dev/dxg # 如果文件不存在说明驱动版本太低 # 查看 Windows 侧驱动版本在 PowerShell 里执行 Get-WmiObject Win32_VideoController | Select-Object Name, DriverVersion发现驱动版本为527.x低于 WSL GPU 支持的最低要求535.x。解决到 NVIDIA 官网下载Game Ready Driver 552.x安装后重启WSL 内nvidia-smi立刻正常。⚠️关键点WSL 内不需要也不能单独安装 CUDA Toolkit驱动由 Windows 侧统一管理。二、安装 Ollama标准安装curl -fsSL https://ollama.com/install.sh | sh实战案例安装脚本超时场景执行安装脚本后卡在Downloading ollama...等了 10 分钟没有进展。解决方案手动下载二进制# 直接从 GitHub Release 下载 curl -L \ https://github.com/ollama/ollama/releases/latest/download/ollama-linux-amd64 \ -o /usr/local/bin/ollama chmod x /usr/local/bin/ollama # 验证安装成功 ollama --version三、启动服务前台测试启动ollama serve # 期望输出 # time2025-xx-xx msgListening on [::]:11434 (version 0.6.x)实战案例启动后立刻退出无任何报错场景ollama serve执行后没有输出命令直接返回但curl http://localhost:11434没有响应。排查步骤# 开启 debug 模式查看详细日志 OLLAMA_DEBUG1 ollama serve 21 # 输出关键错误行 # listen tcp :11434: bind: address already in use发现之前后台运行的ollama serve 进程没有被关闭端口11434已被占用。# 查找占用进程 sudo lsof -i :11434 # 终止旧进程 sudo kill -9 PID # 重新启动 ollama serve 配置开机自启避免每次手动启动# 前提确认 systemd 已启用 cat /proc/1/comm # 应该输出systemd # 若输出 init先在 /etc/wsl.conf 添加以下内容并重启 WSL # [boot] # systemdtrue sudo tee /etc/systemd/system/ollama.service /dev/null EOF [Unit] DescriptionOllama Service Afternetwork.target [Service] ExecStart/usr/local/bin/ollama serve Restartalways RestartSec3 EnvironmentHOME/root EnvironmentOLLAMA_MODELS/root/.ollama/models [Install] WantedBymulti-user.target EOF sudo systemctl daemon-reload sudo systemctl enable ollama sudo systemctl start ollama # 验证 systemctl status ollama四、拉取模型基础命令ollama pull qwen3:8b实战案例一下载到 50% 断开重试后报manifest unknown场景下载qwen3:8b4.7 GB到一半网络断开重新执行ollama pull报错Error: pull model manifest: file does not exist解决# 清理损坏的临时文件 find ~/.ollama/models -name *.part -delete find ~/.ollama/models -name *incomplete* -delete # 重新拉取Ollama 支持断点续传 ollama pull qwen3:8b实战案例二磁盘空间不足场景拉取模型时报错Error: write /root/.ollama/models/blobs/sha256-xxx: no space left on device排查df -h / # 输出/dev/sdb 50G 49G 500M 99% / # WSL 默认分区只有 50G已用完解决迁移模型到 Windows 大容量磁盘# 新建目标目录D 盘 mkdir -p /mnt/d/ollama_models # 迁移已有模型 mv ~/.ollama/models/* /mnt/d/ollama_models/ # 在 ollama.service 的 [Service] 部分添加 # EnvironmentOLLAMA_MODELS/mnt/d/ollama_models sudo systemctl daemon-reload sudo systemctl restart ollama # 验证 ollama list五、运行推理基础测试ollama run qwen3:8b 你好请介绍一下你自己实战案例有 GPU 但跑在 CPU 上速度只有 2 token/s场景运行模型时速度极慢观察任务管理器发现 GPU 利用率为 0CPU 占满。排查步骤# 查看推理时是否调用 GPU ollama run qwen3:8b --verbose test 21 | grep -i gpu\|cuda\|layers # 若 GPU-Util 始终为 0%说明 GPU 未被调用 watch -n 1 nvidia-smi发现Ollama 版本为0.3.x对当前 CUDA 驱动版本兼容性有问题。# 更新 Ollama 到最新版 curl -fsSL https://ollama.com/install.sh | sh # 重新验证 ollama run qwen3:8b --verbose test 21 | grep gpu # 期望输出gpu layers: 33/33六、WSL 内存调优实战案例运行模型后 Windows 卡顿内存占用 95%在C:\Users\用户名\.wslconfig中限制资源若文件不存在则新建[wsl2] memory10GB processors6 swap4GB# 修改后需重启 WSLPowerShell 中执行 wsl --shutdown # 重新打开 Ubuntu 终端即可七、快速诊断速查表症状最可能的原因诊断命令connection refused服务未启动systemctl status ollamaaddress in use端口被旧进程占用sudo lsof -i :11434no space left磁盘满df -h /GPU 利用率 0%Ollama 版本过旧ollama --versionnvidia-smi not foundWindows 驱动版本过低PowerShell 查驱动版本下载中断重试失败缓存损坏清理*.part文件八、总结配置 Ollama 最容易卡住的三个地方1.GPU 不工作→ 99% 是 Windows 驱动版本问题2.服务启不来→ 端口冲突或 systemd 未启用3.磁盘不足→ 迁移模型目录到大分区按本文流程走30 分钟内完成从零到推理的完整配置。配置参考Windows 11 WSL2 Ubuntu 22.04 Ollama 0.6.x RTX 4070 环境下验证。
