1、Ubuntu24.04 安装完驱动并且配置好了cuda，压测显卡都正常运行

2、更新系统包

sudo apt update && sudo apt upgrade -y

3、安装基础依赖

sudo apt install -y build-essential python3 python3-pip python3-venv git wget curl

4、创建虚拟出虚拟环境，目的是为了隔离依赖

4.1、在根目录下，创建项目目录位置

sudo mkdir -p /deepseek-local && cd /deepseek-local

4.2、创建python，并且激活

sudo python3 -m venv venv source venv/bin/activate

激活后，窗口会显示为此：

4.3、升级pip（注意，从此处开始，后续我都是使用的 root 用户进行部署的）

目的是为了：

• 支持新的 Python 特性和包格式，比如处理较新的 wheel 包、PEP 规范相关功能。
• 修复旧版本的 bug，比如下载中断后重试、依赖解析错误等问题。
• 兼容新发布的 Python 库，很多新版库会要求 pip 达到一定版本才能正常安装。
• 提升安装速度和稳定性，新版 pip 通常会优化下载策略、依赖处理逻辑。

pip install --upgrade pip

4.4、安装模型运行依赖

DeepSeek 模型通常基于 PyTorch 或 Transformers 框架，需安装以下核心库：

注意注意!!!：此过程需要具备良好的外网带宽，下载速度要求十分高，最小需要500M带宽环境，否则时间会很长

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

pip install transformers datasets accelerate sentencepiece tokenizers

pip install gradio

pip install --upgrade protobuf

验证安装：

python -c "import torch; print('CUDA 可用：', torch.cuda.is_available())"

5、下载 Deepseek 模型，下载是关键，关乎到 Deepseek 是否能离线使用

网上有很多下载方式，我为了使用方便以及后续优化，使用了 ollama 方式进行部署安装

5.1、下载并安装 ollama 工具（后续的操作可以不用 python 隔离环境）

curl -fsSL https://ollama.com/install.sh | sh

用命令方式也可以，用下载加速工具直接去下载也可以，我这里是直接用下载工具下载，然后上传到服务器的，

上传后， sh 运行下载后的安装脚本

# 解压上传的ollama 安装脚本 tar -C /usr -xzf ollama-linux-amd64.tgz

#运行 ollama 服务 ollama serve &

至此，ollama 服务已经正式运行，

5.2、使用 ollama 下载 Deepseek 模型，

新开一个窗口

我这里要部署 70b 版本，直接运行

这个命令是先从本地搜索模型，如果搜索不到，则在 ollama 库内进行下载

ollama run deepseek-r1:70b

可以看到，70b 的模型大小在42GB， 如果需要部署更高的模型， 需要下载的数据量更大

所以，部署大模型，必须具有稳定且高速的外网带宽

5.3、下载完之后，测试对话，直接输入问题回车：

6、关机开机后，重新进入 root 用户界面，运行ollama服务启动命令，

ollama serve &

之后查看 ollama 列表，查看本地模型是否存在，

ollama list

确定列表存在后，运行大模型，就可以重新开始离线对话了

ollama run deepseek-r1:70b

至此，ollama 搭建 deepseek 70b 模型已经完成

能力有限，只能做到部署，

具体资源调度使用、GPU 负载均衡以及 Web界面对话，

需要配合开发人员进行脚本编写。