一、概述在离线的银河麒麟系统进行开发工作总会遇到一些简单琐碎的问题并且一些算法或者需要导入或者需要手敲是一件很折磨的事。因此在服务器本地部署大模型十分有必要。二、部署方案采用 docker ollama qwen2.5-coder:7b open webUI大模型根据自己需求替换。选择docker镜像可以屏蔽离线银河麒麟服务器缺库的问题。三、在联网设备上下载镜像windows系统可以使用docker.desktop,linux系统直接安装docker。1、拉取Ollama基础镜像docker pull ollama/ollama:latest2、导出包含模型的Ollama镜像docker save -o ollama.tar ollama/ollama:latest3、拉取OpenWebUI镜像docker pull open-webui/open-webui:latest4、拉取OpenWebUI镜像docker save -o open-webui.tar openwebui/open-webui:latest5、下载Qwen2.5:7b模型docker run -d --name temp-ollama -p 11434:11434 ollama/ollama:latestdocker exec -it temp-ollama ollama pull qwen2.5-coder:7b6、打包Qwen2.5:7b模型docker exec ollama-temp tar -zcvf /tmp/ollama-models.tar.gz -C /root/.ollama modelsdocker cp ollama-temp:/tmp/ollama-models.tar ./ 命令行在那个目录压缩包就在那四、在银河麒麟上部署4.1 银河麒麟系统Docker安装4.1.1 解压并安装Docker# 解压Docker安装包tar -zxf docker-27.1.0.tgz# 复制可执行文件sudo cp docker/* /usr/local/bin/# 创建必要目录sudo mkdir -p /etc/dockersudo mkdir -p /var/lib/docker4.1.2 配置Docker服务# 创建systemd服务文件sudo tee /etc/systemd/system/docker.service /dev/null EOF[Unit]DescriptionDocker Application Container EngineAfternetwork.target[Service]ExecStart/usr/local/bin/dockerdRestartalwaysRestartSec5LimitNOFILE1048576LimitNPROC1048576LimitCOREinfinityDelegateyesKillModeprocess[Install]WantedBymulti-user.targetEOF# 启动Docker服务sudo systemctl daemon-reloadsudo systemctl start dockersudo systemctl enable docker# 验证安装docker version4.2 AI容器部署4.2.1 导入离线镜像docker load -i ollama.tardocker load -i open-webui.tar4.2.2 创建Docker网络docker network create ai-network4.2.3 启动Ollama容器docker run -d--name ollama--network ai-network-p 11434:11434-v ollama_data:/root/.ollama--restart unless-stoppedollama/ollama:latest4.2.4 将千问模型导入到ollama查找ollama容器在银河麒麟系统上挂载的目录docker volume inspect ollama_data找到 Mountpoint: /var/lib/docker/volumes/ollama-data/_data 这一行把这个目录下的models删除解压ollama-models.tar然后替换原来的models4.2.5 启动OpenWebUI容器docker run -d--name open-webui--network ai-network-p 3000:8080-v webui_data:/app/backend/data-e OLLAMA_BASE_URLhttp://ollama:11434--restart unless-stoppedghcr.io/open-webui/open-webui:latest五、访问与使用5.1 访问地址OpenWebUI界面http://localhost:3000创建管理员账号在模型选择器中选择 模型开始使用AI编程辅助功能六、遇到的问题1、U盘在银河麒麟上需要 FAT32格式2、浏览器需要新安装银河麒麟上的浏览器版本旧不足以加载 open webUI附赠网址 360安全浏览器 https://browser.360.net/entDownload.html
