大模型测试：按产品形态区分完整测试方案

目录

一、大模型主流产品形态分类

1. 纯 API 服务型（后台能力底座，无前端界面）

2. 网页端对话应用（C 端通用聊天产品）

3. 客户端独立 App（手机 / PC 桌面端）

4. 嵌入式 / 插件集成型（依附第三方载体）

5. 本地私有化部署模型（私有机房 / 本地离线）

6. 多模态一体机产品（图文音视频全能力）

二、不同产品形态差异化测试重点

（一）API 服务型大模型测试

（二）网页对话端大模型测试

（三）手机 / PC 客户端 App 大模型

（四）嵌入式 / 插件集成型大模型

（五）私有化本地部署大模型

（六）多模态一体化大模型产品

三、通用测试项（所有产品形态均需覆盖）

四、快速区分产品形态测试用例分层模板

模板 1：测试范围区分表

模板 2：测试执行区分思路

一、大模型主流产品形态分类

1. 纯 API 服务型（后台能力底座，无前端界面）

代表：厂商开放大模型接口、企业内部推理服务、微调托管服务 核心特征：仅提供 HTTP/GRPC 接口，供业务系统调用，无用户交互页面

2. 网页端对话应用（C 端通用聊天产品）

代表：各类网页版 AI 对话助手、网页知识库问答 核心特征：浏览器访问，单轮 / 多轮对话、文件上传、插件、生成内容预览

3. 客户端独立 App（手机 / PC 桌面端）

代表：手机 AI 助手 APP、电脑桌面客户端大模型软件 核心特征：独立安装包，本地缓存、推送、多端同步、离线推理模块

4. 嵌入式 / 插件集成型（依附第三方载体）

细分：

• SaaS 插件：Office 插件、飞书 / 钉钉 / 企业微信 AI 助手
• 硬件嵌入式：车载大模型、智能音箱、工业终端 AI
• 业务内嵌：电商客服、教育题库、医疗问诊系统内置 AI 模块

5. 本地私有化部署模型（私有机房 / 本地离线）

代表：企业本地部署开源大模型、内网专属大模型、离线无网推理包 核心特征：数据不出内网，支持本地微调、本地向量库，无公网调用

6. 多模态一体机产品（图文音视频全能力）

代表：AI 绘画 + 对话 + 语音生成 + 视频生成一体化产品 核心特征：文本、图片、音频、视频输入输出融合交互

二、不同产品形态差异化测试重点

（一）API 服务型大模型测试

1. 接口基础能力
   • 入参校验：prompt 长度、温度、top_p、最大生成长度、流式 / 非流式切换
   • 并发压测：QPS 上限、超时、限流、熔断、批量推理性能
   • 协议兼容：HTTP/HTTPS、流式 SSE、GRPC 二进制传输稳定性
2. 安全与权限
   • Token 鉴权、调用频次计费、IP 白名单、接口访问隔离
   • 输入输出内容安全拦截、敏感词屏蔽、越狱 Prompt 防御
3. 运维专项
   • 推理耗时、显存 / 内存占用、批量任务排队机制
   • 版本灰度切换、模型热更新不中断服务、异常日志上报
4. 独有风险点下游业务依赖接口，需重点测异常返回容错（空值、乱码、超长文本、报错码）

（二）网页对话端大模型测试

1. 前端交互专项（独有）
   • 对话渲染：长文本自动换行、代码块高亮、表格 / 公式渲染、Markdown 解析
   • 多媒体交互：上传 PDF/Word/ 图片解析、拖拽文件、截图识别
   • 页面状态：刷新保留对话历史、多标签会话隔离、滚动加载、输入防抖
2. 会话能力
   • 多轮上下文记忆、会话新建 / 删除 / 重命名、历史检索
   • 撤回、重新生成、分段输出流式动画展示
3. 浏览器兼容Chrome/Edge/Firefox/Safari、移动端 H5 适配、低网速降级策略
4. 独有风险点前端 XSS 注入、超大对话缓存页面卡顿、文件上传大小限制、跨域请求失败

（三）手机 / PC 客户端 App 大模型

1. 端侧专属测试项
   • 安装卸载、更新覆盖、后台保活、内存泄漏、电量消耗
   • 本地缓存：对话记录本地加密存储、清理缓存功能、云端同步冲突
   • 离线模式：离线轻量化模型推理、无网络时功能降级
2. 设备适配手机不同分辨率、低配置机型卡顿、PC 客户端窗口缩放、快捷键交互
3. 系统权限相册 / 麦克风 / 存储权限申请、录音语音转文字、本地文件读取权限管控
4. 独有风险点安装包体积、后台偷跑流量、锁屏中断生成、多账号登录数据混淆

（四）嵌入式 / 插件集成型大模型

1. 宿主兼容性测试
   • 插件安装卸载、宿主版本兼容、不破坏原有软件功能
   • 唤起逻辑：右键唤起、侧边栏按钮、指令触发 AI 功能
2. 上下文联动读取宿主文档 / 聊天内容作为 Prompt、修改宿主内容回写保存
3. 资源隔离插件内存独立，AI 推理不导致宿主软件崩溃、卡死
4. 细分场景特殊点
   • 办公插件：文档格式兼容、生成内容格式匹配原文
   • 车载模型：语音降噪、行车中断响应、无屏幕语音交互
   • 企业 IM 插件：群聊上下文、成员权限隔离、敏感群消息过滤

（五）私有化本地部署大模型

1. 部署运维专项（核心差异）
   • 单机 / 分布式集群部署、容器 Docker/K8s 启停、资源分配调度
   • 内网无外网环境全功能验证、本地向量库对接、本地知识库导入
   • 模型微调流程：数据集上传、训练任务启停、训练失败回滚
2. 数据合规数据全程内网流转、无对外网络请求、本地日志脱敏、数据导出权限管控
3. 硬件适配国产 GPU/CPU 推理、显存不足降级策略、离线批量任务调度
4. 独有风险点部署步骤缺失导致功能异常、集群节点宕机任务丢失、本地存储溢出

（六）多模态一体化大模型产品

1. 跨模态联动测试
   • 文生图、图生文、图文混合问答、语音转文本再生成视频
   • 多模态输入混合边界：超长文本 + 多张图片并发推理
2. 媒体资源处理图片分辨率上限、音频时长限制、视频生成进度、媒体文件导出格式
3. 模态异常兼容模糊图片、杂音语音、损坏视频文件输入，模型不崩溃、给出友好提示

三、通用测试项（所有产品形态均需覆盖）

无论哪种形态，基础大模型能力统一测试：

1. 生成质量：逻辑一致性、事实准确性、幻觉、多语言、专业领域问答
2. 内容安全：暴力、色情、政治敏感、诱导越狱、隐私泄露拦截
3. 功能基础：流式输出、上下文记忆、参数自定义（温度、长度）
4. 异常容错：超长输入、空输入、特殊符号、乱码、并发多会话
5. 易用性：报错提示、失败重试、功能降级、操作引导

四、快速区分产品形态测试用例分层模板

模板 1：测试范围区分表

模板 2：测试执行区分思路

1. 先跑通用大模型能力用例（质量、安全、基础对话）
2. 再执行对应产品形态专属差异化用例
3. 最后执行形态边界场景（如 API 嵌入网页、私有化客户端混合场景）