在中文大模型生态里智谱是从学术搜索工具一路走到大模型研发的公司。它早期的 AMiner 学术搜索积累了大量论文、作者和引用数据后来又进入大模型赛道推出 GLM 系列模型、智谱清言、开放平台 API 以及代码助手产品。对普通开发者来说公司发展路径只是背景信息真正要搞清楚的是这些大模型能力怎么落到自己的项目里API 怎么拿、免费模型能不能用、本地能不能部署、微调数据怎么准备、报错怎么定位。这篇文章按工程落地的顺序整理一条完整路线覆盖接口调用、本地部署、微调、工具链集成和生产环境注意事项适合正在做 AI 应用研发、准备评估智谱模型的开发者参考。1. 先理解智谱和 GLM从学术工具到模型公司的底层逻辑1.1 学术搜索背景给模型研发带来什么智谱的起点是学术搜索工具。学术搜索的核心是处理海量论文元数据、作者关系、引用网络和机构数据这要求团队长期维护大规模数据管道、实体消歧系统和检索基础设施。这些能力在进入大模型时代后没有浪费模型需要高质量样本、知识库需要结构化抽取、检索增强生成需要排序和召回这些都与学术搜索时代的数据处理经验直接相关。需要解释的是AMiner 这样的学术系统解决的是“从海量论文里找到可信信息”的问题而大模型解决的是“用自然语言理解并生成内容”的问题。两者看起来不同但底层都依赖对大规模文本数据的清洗、组织、评估和索引。这也是智谱从学术工具走向模型公司时别人难以快速复制的部分。实际做项目时不需要关心这些公司历史但评估一个模型平台是否可靠时可以看它是否有长期的数据工程积累、是否有持续迭代的模型版本、是否提供稳定的 API。这三点比宣传口径更有参考价值。1.2 GLM 系列模型的技术路线和产品形态GLM 全称 General Language Model。早期的 GLM 论文提出了一种自回归空白填充训练目标与当年主流的从左到右预测方式不同它让模型同时具备理解和生成能力。这个技术路线决定了很多后续工作GLM 系列不是简单照搬某个开源模型架构而是围绕统一生成框架扩展任务能力。当前开发者接触到的智谱产品大概分几类聊天产品智谱清言、开放平台上的模型 API、面向代码场景的 ZCode 和 VS Code 插件以及本地可部署的开源模型。模型侧常见名称包括 GLM-4-Flash、GLM-4-Plus、GLM-4V 等多模态版本。注意型号和价格会随版本迭代变化落地前要以开放平台文档为准。1.3 开发者视角真正需要评估的是四件事从工程角度评估智谱大模型不用研究论文重点看四条API 是否稳定鉴权是否简单文档是否清晰。免费模型能否覆盖高频低风险场景付费模型能否承载生产流量。是否支持本地部署或私有化数据安全要求能不能满足。生态工具是否完整包括官方 SDK、插件和第三方框架适配。后面几节全部围绕这四条展开。先记住一个判断云上 API 适合快速验证和对接本地部署适合数据敏感或高调用量的场景微调是在前两者都不满足时才会考虑的方案。2. 接入智谱 API 之前先把模型选型和鉴权机制搞清楚2.1 GLM-4-Flash免费模型适合做什么很多资料里会出现 glm-4-flash 和大模型 api 这两个词正是因为智谱开放平台提供了一款长期免费的轻量模型 GLM-4-Flash。免费模型的价值在于它可以作为学习入口、原型验证工具和高频简单任务的执行体。适合用免费模型做的场景文档摘要、关键词提取、文本分类等轻量生成任务。学习大模型 API 调用方式跑通 requests、OpenAI SDK 或官方 SDK。在 CI 流程里做短文本检查比如提交信息规范、接口文档描述审核。作为降级备用模型在付费模型不可用时切换过去。不适合的场景对回答质量要求极高的专业领域输出。需要复杂推理、长文档理解、多轮工具调用的生产任务。涉及敏感数据时应优先评估私有化部署而不是直接走云端接口。注意免费模型不等于免运维模型。接入生产环境前必须确认限流策略、并发上限和响应时间承诺并设计缓存、重试和降级方案。2.2 免费模型、通用模型和多模态模型的差异智谱开放平台通常同时提供多个模型。不同模型在上下文长度、推理质量、生成速度、输入输出类型上存在差异选择标准不是“越贵越好”而是“任务匹配”。下面用表格整理一个通用判断框架。具体型号和规格以开放平台文档为准。模型类型常见型号举例推荐场景注意点轻量免费模型GLM-4-Flash学习验证、高频简单任务、降级备用输出长度和质量有限通用对话模型GLM-4-Plus 等生产对话、复杂指令、业务文案需要确认开通状态和计费多模态模型GLM-4V 等图片理解、截图 OCR、视觉问答输入图片要控制大小和清晰度长文本模型视平台开放情况长文档问答、合同审核上下文长度与费用成正比一个常见误区是把免费模型当作正式业务的唯一依赖不做限流、缓存和降级。免费模型的稳定性和并发能力通常有使用限制生产环境必须设计缓存、重试和断路器。2.3 API Key 获取与鉴权原理接入智谱 API 需要先去开放平台注册账号并创建 API Key。创建后你会得到一个形如 id.secret 的密钥实际调用时通过 HTTP 请求头Authorization: Bearer api_key传给服务端服务端据此识别调用者并完成计费。鉴权原理和大多数云 API 一致密钥是身份的凭证不能硬编码到前端页面不能提交到公开仓库。常见的错误是把 API Key 直接写在 Vue/React 的代码里或者把 .env 文件提交到 Git。正确做法是放在后端服务环境变量中并通过网关或配置中心下发。3. 用 Python 完成第一次智谱 API 调用3.1 安装 SDK 并初始化客户端官方 Python SDK 名为 zhipuai可以通过 pip 安装。不同 SDK 版本的导入方式和参数结构可能有差异安装后先确认版本再按当前版本文档调用。pip install zhipuai初始化客户端时传入 API Key。更稳妥的做法是从环境变量读取不要把密钥写成字符串常量。import os from zhipuai import ZhipuAI client ZhipuAI(api_keyos.getenv(ZHIPU_API_KEY))如果项目里已经使用 OpenAI SDK也可以通过 OpenAI 兼容接口访问智谱模型。把 base_url 指向智谱开放平台的兼容地址即可具体地址以下单页文档为准。from openai import OpenAI client OpenAI( api_keyos.getenv(ZHIPU_API_KEY), base_urlhttps://open.bigmodel.cn/api/paas/v4/ )下面示例用于说明思路实际项目要结合自己的包名、路径和版本调整。3.2 一次普通对话调用调用chat.completions.create传入 model 和 messages。messages 是一个消息列表每项包含 role 和 content。role 可以是 system、user、assistant。response client.chat.completions.create( modelglm-4-flash, messages[ {role: system, content: 你是技术文档助手回答要简洁、准确。}, {role: user, content: 用两句话解释什么是大模型微调。} ], max_tokens512, temperature0.7 ) print(response.choices[0].message.content)返回结果里最常用的是choices[0].message.content也就是模型生成的正文。usage 字段包含 token 消耗生产环境要记录用于成本分析。关键点system 消息用于设定角色和行为约束提示词工程的大部分工作发生在这一层。temperature 控制随机性取值越大答案越发散越小越确定。max_tokens 限制生成长度不是上下文长度。3.3 流式输出长回复场景应该使用流式输出让用户看到逐字生成的效果同时降低首字等待时间。把 stream 参数设为 True然后遍历返回的分片。stream client.chat.completions.create( modelglm-4-flash, messages[ {role: user, content: 写一段 200 字左右的 Spring Boot 接口示例。} ], streamTrue ) for chunk in stream: delta chunk.choices[0].delta if delta and delta.content: print(delta.content, end)流式输出的坑在于有些分片只有 role 或 usage没有 content直接取 content 可能报空值所以要先判断。另外流式接口的异常处理和重试策略与普通接口不同不能简单套用。3.4 高频参数速查表参数含义常见取值调大影响调小影响temperature随机性0.1 到 0.9更有创造力但容易跑题更稳定但可能模板化top_p核采样0.7 到 0.9候选词更多输出更集中max_tokens最大生成 token 数128 到 2048可生成更长内容可能截断回复stream是否流式true/false首字更快、体验好一次性返回、易超时4. 本地部署 GLM 模型Ollama 和 vLLM 两条路线4.1 为什么要把大模型从云端搬到本地生产项目中本地部署通常不是为了炫技而是解决三个实际约束数据安全。请求不能离开内网业务数据不经过第三方 API。调用成本。高频调用云端 API 的费用在量上来后会快速上升。网络隔离。部分客户的机房没有外部网络只能在内部提供服务。但本地部署不是免费午餐。你要自己管理 GPU、显存、模型版本、并发调度和故障恢复。学习环境可以在单机跑通生产环境必须考虑多副本、监控和 OOM 处理。4.2 用 Ollama 快速跑通本地对话Ollama 是最容易上手的本地模型运行工具适合学习环境和小流量内部服务。安装完成后通过命令行拉取模型并启动服务。ollama pull zai-org/glm-4-9b-chat ollama run zai-org/glm-4-9b-chat实际可拉取的模型名会随 Ollama 模型库更新而变化落地前先查询模型库中是否有目标版本。如果搜不到可以换用 ModelScope 或 Hugging Face 下载原始权重再通过 Ollama 支持的格式导入。Ollama 的服务默认监听 11434 端口。开发时可以通过下面这个入口做接口测试。curl http://localhost:11434/api/generate -d { model: zai-org/glm-4-9b-chat, prompt: 你好请介绍你自己。 }4.3 用 vLLM 做服务化部署当调用量上来后Ollama 的并发和吞吐不一定能满足要求vLLM 更适合对外提供 OpenAI 兼容接口。vLLM 的核心价值在于高吞吐推理、PagedAttention 显存管理和连续批处理。一个典型启动命令如下。具体路径和参数要以你下载的模型为准。vllm serve THUDM/glm-4-9b-chat \ --dtype bfloat16 \ --tensor-parallel-size 1 \ --port 8000启动成功后客户端可以通过 OpenAI 兼容方式调用。curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: THUDM/glm-4-9b-chat, messages: [{role: user, content: 你好}] }vLLM 部署常见的坑tensor-parallel-size 不能超过可用 GPU 数。显存不够时会报 CUDA out of memory需要降低 max-model-len 或使用量化权重。模型格式不匹配时需要先确认模型是否支持 vLLM 要求的结构。4.4 精度问题FP16、BF16、FP32 怎么选本地部署和微调都绕不开模型精度。精度影响显存占用、速度和数值稳定性。精度每个参数占用特点适用场景FP324 字节精度高、显存占用大、速度慢小模型训练、数值敏感调试FP162 字节显存减半、速度较快推理训练时需要注意溢出BF162 字节动态范围大、训练稳定大模型训练和推理推荐INT8/INT41/0.5 字节左右显存占用更小、有精度损失资源受限推理、量化部署一个 9B 参数模型FP16/BF16 权重约占 18GB 显存再加上 KV Cache 和激活值实际部署通常需要 24GB 以上显存。如果显存不够优先考虑 4bit 量化或减小上下文长度。注意18GB 只是权重部分的估算。实际部署还要考虑 KV Cache、输入输出缓存和框架自身开销留出 20% 以上余量更稳妥。5. 从通用对话到业务模型微调和提示词工程怎么配合5.1 先判断要不要微调很多项目一上来就做微调但微调不是大模型应用的第一步。正确顺序是用提示词工程解决问题把任务描述、示例、输出格式全部写清楚。效果不够时加入 few-shot 示例或换成更强的模型。仍然不够时再考虑微调。只有当模型缺乏特定领域知识、输出风格固定且任务量巨大时微调才划算。微调的代价不只是训练成本还有数据标注、评测回归、版本管理和部署成本。5.2 微调数据的组织格式智谱开放平台的微调服务通常使用对话格式组织数据。每条样本包含 system、user、assistant 消息和调用 API 时的 messages 结构一致。[ { messages: [ {role: system, content: 你是智能客服回答订单问题时只能依据提供的订单信息。}, {role: user, content: 我的订单什么时候发货}, {role: assistant, content: 请提供订单号我可以帮你查询发货时间。} ] }, { messages: [ {role: system, content: 你是智能客服回答订单问题时只能依据提供的订单信息。}, {role: user, content: 订单号 202506123456 什么时候发货}, {role: assistant, content: 订单号 202506123456 预计 3 天内发货。} ] } ]准备数据时注意样本数量最少几百条通常几千条才能看到明显效果。训练集和验证集要分离验证集不能用训练样本。答案必须是确定的高质量内容不能把模型生成结果直接当训练数据。涉及用户隐私的数据要先脱敏。5.3 微调后的验证和回归微调完成后不能只看训练损失下降。要准备一组与训练集不重叠的评测问题从正确性、格式、拒答率、幻觉率几个维度做回归对比。常见 智谱GLM大模型开发实战：从API调用到本地部署与微调指南
在中文大模型生态里智谱是从学术搜索工具一路走到大模型研发的公司。它早期的 AMiner 学术搜索积累了大量论文、作者和引用数据后来又进入大模型赛道推出 GLM 系列模型、智谱清言、开放平台 API 以及代码助手产品。对普通开发者来说公司发展路径只是背景信息真正要搞清楚的是这些大模型能力怎么落到自己的项目里API 怎么拿、免费模型能不能用、本地能不能部署、微调数据怎么准备、报错怎么定位。这篇文章按工程落地的顺序整理一条完整路线覆盖接口调用、本地部署、微调、工具链集成和生产环境注意事项适合正在做 AI 应用研发、准备评估智谱模型的开发者参考。1. 先理解智谱和 GLM从学术工具到模型公司的底层逻辑1.1 学术搜索背景给模型研发带来什么智谱的起点是学术搜索工具。学术搜索的核心是处理海量论文元数据、作者关系、引用网络和机构数据这要求团队长期维护大规模数据管道、实体消歧系统和检索基础设施。这些能力在进入大模型时代后没有浪费模型需要高质量样本、知识库需要结构化抽取、检索增强生成需要排序和召回这些都与学术搜索时代的数据处理经验直接相关。需要解释的是AMiner 这样的学术系统解决的是“从海量论文里找到可信信息”的问题而大模型解决的是“用自然语言理解并生成内容”的问题。两者看起来不同但底层都依赖对大规模文本数据的清洗、组织、评估和索引。这也是智谱从学术工具走向模型公司时别人难以快速复制的部分。实际做项目时不需要关心这些公司历史但评估一个模型平台是否可靠时可以看它是否有长期的数据工程积累、是否有持续迭代的模型版本、是否提供稳定的 API。这三点比宣传口径更有参考价值。1.2 GLM 系列模型的技术路线和产品形态GLM 全称 General Language Model。早期的 GLM 论文提出了一种自回归空白填充训练目标与当年主流的从左到右预测方式不同它让模型同时具备理解和生成能力。这个技术路线决定了很多后续工作GLM 系列不是简单照搬某个开源模型架构而是围绕统一生成框架扩展任务能力。当前开发者接触到的智谱产品大概分几类聊天产品智谱清言、开放平台上的模型 API、面向代码场景的 ZCode 和 VS Code 插件以及本地可部署的开源模型。模型侧常见名称包括 GLM-4-Flash、GLM-4-Plus、GLM-4V 等多模态版本。注意型号和价格会随版本迭代变化落地前要以开放平台文档为准。1.3 开发者视角真正需要评估的是四件事从工程角度评估智谱大模型不用研究论文重点看四条API 是否稳定鉴权是否简单文档是否清晰。免费模型能否覆盖高频低风险场景付费模型能否承载生产流量。是否支持本地部署或私有化数据安全要求能不能满足。生态工具是否完整包括官方 SDK、插件和第三方框架适配。后面几节全部围绕这四条展开。先记住一个判断云上 API 适合快速验证和对接本地部署适合数据敏感或高调用量的场景微调是在前两者都不满足时才会考虑的方案。2. 接入智谱 API 之前先把模型选型和鉴权机制搞清楚2.1 GLM-4-Flash免费模型适合做什么很多资料里会出现 glm-4-flash 和大模型 api 这两个词正是因为智谱开放平台提供了一款长期免费的轻量模型 GLM-4-Flash。免费模型的价值在于它可以作为学习入口、原型验证工具和高频简单任务的执行体。适合用免费模型做的场景文档摘要、关键词提取、文本分类等轻量生成任务。学习大模型 API 调用方式跑通 requests、OpenAI SDK 或官方 SDK。在 CI 流程里做短文本检查比如提交信息规范、接口文档描述审核。作为降级备用模型在付费模型不可用时切换过去。不适合的场景对回答质量要求极高的专业领域输出。需要复杂推理、长文档理解、多轮工具调用的生产任务。涉及敏感数据时应优先评估私有化部署而不是直接走云端接口。注意免费模型不等于免运维模型。接入生产环境前必须确认限流策略、并发上限和响应时间承诺并设计缓存、重试和降级方案。2.2 免费模型、通用模型和多模态模型的差异智谱开放平台通常同时提供多个模型。不同模型在上下文长度、推理质量、生成速度、输入输出类型上存在差异选择标准不是“越贵越好”而是“任务匹配”。下面用表格整理一个通用判断框架。具体型号和规格以开放平台文档为准。模型类型常见型号举例推荐场景注意点轻量免费模型GLM-4-Flash学习验证、高频简单任务、降级备用输出长度和质量有限通用对话模型GLM-4-Plus 等生产对话、复杂指令、业务文案需要确认开通状态和计费多模态模型GLM-4V 等图片理解、截图 OCR、视觉问答输入图片要控制大小和清晰度长文本模型视平台开放情况长文档问答、合同审核上下文长度与费用成正比一个常见误区是把免费模型当作正式业务的唯一依赖不做限流、缓存和降级。免费模型的稳定性和并发能力通常有使用限制生产环境必须设计缓存、重试和断路器。2.3 API Key 获取与鉴权原理接入智谱 API 需要先去开放平台注册账号并创建 API Key。创建后你会得到一个形如 id.secret 的密钥实际调用时通过 HTTP 请求头Authorization: Bearer api_key传给服务端服务端据此识别调用者并完成计费。鉴权原理和大多数云 API 一致密钥是身份的凭证不能硬编码到前端页面不能提交到公开仓库。常见的错误是把 API Key 直接写在 Vue/React 的代码里或者把 .env 文件提交到 Git。正确做法是放在后端服务环境变量中并通过网关或配置中心下发。3. 用 Python 完成第一次智谱 API 调用3.1 安装 SDK 并初始化客户端官方 Python SDK 名为 zhipuai可以通过 pip 安装。不同 SDK 版本的导入方式和参数结构可能有差异安装后先确认版本再按当前版本文档调用。pip install zhipuai初始化客户端时传入 API Key。更稳妥的做法是从环境变量读取不要把密钥写成字符串常量。import os from zhipuai import ZhipuAI client ZhipuAI(api_keyos.getenv(ZHIPU_API_KEY))如果项目里已经使用 OpenAI SDK也可以通过 OpenAI 兼容接口访问智谱模型。把 base_url 指向智谱开放平台的兼容地址即可具体地址以下单页文档为准。from openai import OpenAI client OpenAI( api_keyos.getenv(ZHIPU_API_KEY), base_urlhttps://open.bigmodel.cn/api/paas/v4/ )下面示例用于说明思路实际项目要结合自己的包名、路径和版本调整。3.2 一次普通对话调用调用chat.completions.create传入 model 和 messages。messages 是一个消息列表每项包含 role 和 content。role 可以是 system、user、assistant。response client.chat.completions.create( modelglm-4-flash, messages[ {role: system, content: 你是技术文档助手回答要简洁、准确。}, {role: user, content: 用两句话解释什么是大模型微调。} ], max_tokens512, temperature0.7 ) print(response.choices[0].message.content)返回结果里最常用的是choices[0].message.content也就是模型生成的正文。usage 字段包含 token 消耗生产环境要记录用于成本分析。关键点system 消息用于设定角色和行为约束提示词工程的大部分工作发生在这一层。temperature 控制随机性取值越大答案越发散越小越确定。max_tokens 限制生成长度不是上下文长度。3.3 流式输出长回复场景应该使用流式输出让用户看到逐字生成的效果同时降低首字等待时间。把 stream 参数设为 True然后遍历返回的分片。stream client.chat.completions.create( modelglm-4-flash, messages[ {role: user, content: 写一段 200 字左右的 Spring Boot 接口示例。} ], streamTrue ) for chunk in stream: delta chunk.choices[0].delta if delta and delta.content: print(delta.content, end)流式输出的坑在于有些分片只有 role 或 usage没有 content直接取 content 可能报空值所以要先判断。另外流式接口的异常处理和重试策略与普通接口不同不能简单套用。3.4 高频参数速查表参数含义常见取值调大影响调小影响temperature随机性0.1 到 0.9更有创造力但容易跑题更稳定但可能模板化top_p核采样0.7 到 0.9候选词更多输出更集中max_tokens最大生成 token 数128 到 2048可生成更长内容可能截断回复stream是否流式true/false首字更快、体验好一次性返回、易超时4. 本地部署 GLM 模型Ollama 和 vLLM 两条路线4.1 为什么要把大模型从云端搬到本地生产项目中本地部署通常不是为了炫技而是解决三个实际约束数据安全。请求不能离开内网业务数据不经过第三方 API。调用成本。高频调用云端 API 的费用在量上来后会快速上升。网络隔离。部分客户的机房没有外部网络只能在内部提供服务。但本地部署不是免费午餐。你要自己管理 GPU、显存、模型版本、并发调度和故障恢复。学习环境可以在单机跑通生产环境必须考虑多副本、监控和 OOM 处理。4.2 用 Ollama 快速跑通本地对话Ollama 是最容易上手的本地模型运行工具适合学习环境和小流量内部服务。安装完成后通过命令行拉取模型并启动服务。ollama pull zai-org/glm-4-9b-chat ollama run zai-org/glm-4-9b-chat实际可拉取的模型名会随 Ollama 模型库更新而变化落地前先查询模型库中是否有目标版本。如果搜不到可以换用 ModelScope 或 Hugging Face 下载原始权重再通过 Ollama 支持的格式导入。Ollama 的服务默认监听 11434 端口。开发时可以通过下面这个入口做接口测试。curl http://localhost:11434/api/generate -d { model: zai-org/glm-4-9b-chat, prompt: 你好请介绍你自己。 }4.3 用 vLLM 做服务化部署当调用量上来后Ollama 的并发和吞吐不一定能满足要求vLLM 更适合对外提供 OpenAI 兼容接口。vLLM 的核心价值在于高吞吐推理、PagedAttention 显存管理和连续批处理。一个典型启动命令如下。具体路径和参数要以你下载的模型为准。vllm serve THUDM/glm-4-9b-chat \ --dtype bfloat16 \ --tensor-parallel-size 1 \ --port 8000启动成功后客户端可以通过 OpenAI 兼容方式调用。curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: THUDM/glm-4-9b-chat, messages: [{role: user, content: 你好}] }vLLM 部署常见的坑tensor-parallel-size 不能超过可用 GPU 数。显存不够时会报 CUDA out of memory需要降低 max-model-len 或使用量化权重。模型格式不匹配时需要先确认模型是否支持 vLLM 要求的结构。4.4 精度问题FP16、BF16、FP32 怎么选本地部署和微调都绕不开模型精度。精度影响显存占用、速度和数值稳定性。精度每个参数占用特点适用场景FP324 字节精度高、显存占用大、速度慢小模型训练、数值敏感调试FP162 字节显存减半、速度较快推理训练时需要注意溢出BF162 字节动态范围大、训练稳定大模型训练和推理推荐INT8/INT41/0.5 字节左右显存占用更小、有精度损失资源受限推理、量化部署一个 9B 参数模型FP16/BF16 权重约占 18GB 显存再加上 KV Cache 和激活值实际部署通常需要 24GB 以上显存。如果显存不够优先考虑 4bit 量化或减小上下文长度。注意18GB 只是权重部分的估算。实际部署还要考虑 KV Cache、输入输出缓存和框架自身开销留出 20% 以上余量更稳妥。5. 从通用对话到业务模型微调和提示词工程怎么配合5.1 先判断要不要微调很多项目一上来就做微调但微调不是大模型应用的第一步。正确顺序是用提示词工程解决问题把任务描述、示例、输出格式全部写清楚。效果不够时加入 few-shot 示例或换成更强的模型。仍然不够时再考虑微调。只有当模型缺乏特定领域知识、输出风格固定且任务量巨大时微调才划算。微调的代价不只是训练成本还有数据标注、评测回归、版本管理和部署成本。5.2 微调数据的组织格式智谱开放平台的微调服务通常使用对话格式组织数据。每条样本包含 system、user、assistant 消息和调用 API 时的 messages 结构一致。[ { messages: [ {role: system, content: 你是智能客服回答订单问题时只能依据提供的订单信息。}, {role: user, content: 我的订单什么时候发货}, {role: assistant, content: 请提供订单号我可以帮你查询发货时间。} ] }, { messages: [ {role: system, content: 你是智能客服回答订单问题时只能依据提供的订单信息。}, {role: user, content: 订单号 202506123456 什么时候发货}, {role: assistant, content: 订单号 202506123456 预计 3 天内发货。} ] } ]准备数据时注意样本数量最少几百条通常几千条才能看到明显效果。训练集和验证集要分离验证集不能用训练样本。答案必须是确定的高质量内容不能把模型生成结果直接当训练数据。涉及用户隐私的数据要先脱敏。5.3 微调后的验证和回归微调完成后不能只看训练损失下降。要准备一组与训练集不重叠的评测问题从正确性、格式、拒答率、幻觉率几个维度做回归对比。常见