一、部署方式选择部署方式上手难度核心特点适用场景Ollama⭐命令极简自动适配环境自带 API 接口新手日常本地调用、快速测试LM Studio⭐图形化操作无需敲代码兼容 OpenAI 接口不想使用命令行、纯可视化使用Text Generation WebUI⭐⭐⭐功能齐全支持模型微调、多种量化格式深度调试模型、个性化参数配置vLLM⭐⭐⭐⭐推理速度快高并发性能强搭建对外服务、生产环境部署大家可以按需自我选择我的推荐是本地自己玩使用ollama在企业使用最好用vLLM二、ollama下载windows电脑为例如果官网能下载就用官网不能就镜像地址懂得都懂官网地址https://ollama.com/download镜像地址https://cnb.cool/hex/ollama/-/releases/latest/download/OllamaSetup.exe注意后续下载模型一般都好几个G可以在setting中设置模型下载地址三、免费开源大模型选择模型名称推荐版本中文友好商用权限Ollama 下载命令最低显存推荐显存最低内存推荐内存硬件适配选型通义千问 QwenQwen2:7b/14b★★★★★免费可商用ollama run qwen2:7bollama run qwen2:14b6G10G8-16G16G16G32G32G64G16G 内存选 7b32G 及以上内存选 14b智谱 ChatGLMchatglm3:6b★★★★★免费可商用ollama run chatglm3:6b5G6-8G16G32G常规家用内存均可流畅运行Llama3llama3:8b★★★☆☆个人免费商用受限ollama run llama3:8b6G8-16G16G32G16G 标准内存适配日常使用DeepSeekdeepseek:7b★★★★☆个人免费商用受限ollama run deepseek:7b6G8-16G16G32G代码推理场景16G 内存够用Mixtralmixtral:8x7b★★★☆☆免费可商用ollama run mixtral10G16G32G64G大内存机型专属长文本处理优选Gemmagemma2:9b★★★☆☆个人免费商用受限ollama run gemma2:9b8G12-16G16G32G主流内存配置均可稳定运行Phi-3phi3:mini★★★☆☆免费可商用ollama run phi3:mini3G4-6G8G16G低配小内存笔记本首选我是16G内存下载的是Qwen2:7b直接在powershell上运行ollama run qwen2:7b四、使用选中模型直接对话即可就可以使用了地址验证http://localhost:11434/五、项目集成(Spring AI框架为例)pom依赖dependenciesdependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-web/artifactId/dependency!-- Spring AI Ollama 依赖 --dependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-starter-model-ollama/artifactIdversion1.0.0/version/dependency/dependenciesyaml配置spring:application:name:spring-ai-demoai:ollama:base-url:http://localhost:11434chat:model:qwen2:7b测试运行packagecom.example.springaidemo.controller;importorg.springframework.ai.chat.client.ChatClient;importorg.springframework.web.bind.annotation.GetMapping;importorg.springframework.web.bind.annotation.RestController;RestControllerpublicclassAiController{privatefinalChatClientchatClient;// 自动注入 OllamapublicAiController(ChatClient.BuilderchatClientBuilder){this.chatClientchatClientBuilder.build();}// 测试接口GetMapping(/ai)publicStringask(Stringquestion){returnchatClient.prompt().user(question).call().content();}}六、云端部署TODO
