请求重试的隔离边界“原型怎样变成可用功能”首先要落到可观察、可回滚的工程动作上。本文从配置、调用链和运行指标三个层面梳理判断方法重点说明应先收集什么证据、怎样做小范围验证以及何时应停止扩张改动。文中出现的故障现象、容量规模、延迟和资源数值均为说明机制的示例并非可直接套用的线上结论。实际阈值应结合服务目标、依赖能力、流量形态和压测结果确定涉及生产变更时应先灰度并保留回滚路径。原型与生产底座的天然鸿沟现场诊断评估一套 LLM 后端架构是否具备生产可用性主要看它能否应对以下典型高并发异常SSE 长连接把 Nginx / API 网关资源耗尽传统 HTTP 网关的超时配置为 60 秒但大型推理任务可能长达 2 分钟。连接长时间挂起导致 HTTP/1.1 连接池被占满后来的普通用户连登录接口都进不来。缺乏 Prompt Cache 导致算力与钱被白白浪费大量用户重复提问相似的系统上下文如企业规章制度、标准 API 文档每次都将上万 Token 重新推给模型计算导致上游 GPU 利用率居高不下且响应延时拉长。缺乏流式传输中的断线重连机制Reconnection Gap用户网络稍微闪断 1 秒SSE 管道断开前端丢包整个生成过程白费用户只能被迫重新生成。生产级后端底座的 4 个核心架构支柱把 Demo 改造成可用功能后端底座必须建立四项刚性能力。1. 基于 Redis 向量相似度的语义缓存Prompt Cache在发起大模型推理前先对标准化 Prompt 进行 Hash 与语义相似度匹配。对高频通用问题直接返回缓存结果。package com.company.architecture.llm.cache; import org.springframework.stereotype.Component; Component public class PromptSemanticCacheManager { /** * 在发起高成本 LLM 调用前先查语义缓存 */ public String getCachedResponseIfPresent(String userQuery) { String queryHash calculateHash(userQuery); // 1. 精确 Hash 匹配 String exactMatch readFromRedis(exact: queryHash); if (exactMatch ! null) { return exactMatch; } // 2. 向量相似度模糊匹配 (相似度 0.95 判定为同一问题) // 此处伪代码逻辑访问 Qdrant / Milvus double similarity 0.96; if (similarity 0.95) { return readFromRedis(vector_hit_result); } return null; // 未命中需要走大模型推理 } private String calculateHash(String text) { return Integer.toHexString(text.hashCode()); } private String readFromRedis(String key) { // 读 Redis 逻辑 return null; } }2. SSE 长连接与 HTTP/2 Multiplexing 改造传统 HTTP/1.1 每个 SSE 连接占用一个 TCP 链接生产环境必须在网关层启用HTTP/2 协议多路复用并针对长连接配置特定的 Keep-Alive 心跳# 生产环境 Nginx 反向代理配置示例 location /v1/chat/completions { proxy_pass http://llm_backend_stream; proxy_http_version 1.1; # 关闭 Buffer实现真实的 SSE 实时流式响应 proxy_buffering off; proxy_cache off; # 设置超长 Timeout 匹配大模型生成耗时 proxy_read_timeout 600s; proxy_send_timeout 600s; # 启用 SSE 响应头保持 proxy_set_header Connection ; proxy_set_header Chunked_Transfer_Encoding on; }3. 多 Vendor / Provider 动态权重路由与降级绝不能将所有流量押注在单一模型供应商身上。底座必须具备自动检测 Endpoint 健康度并进行多厂商平滑切流的能力package router import ( errors sync/atomic ) type Provider struct { Name string Weight int32 IsHealthy uint32 // 1: healthy, 0: unhealthy } type ModelRouter struct { providers []*Provider } func (r *ModelRouter) SelectProvider() (*Provider, error) { for _, p : range r.providers { if atomic.LoadUint32(p.IsHealthy) 1 { // 根据权重选出可用的 Provider return p, nil } } return nil, errors.New(all LLM provider endpoints are currently down) }从原型到生产的 10 项交付验收清单Checklist在将大模型应用交付上线前系统架构必须通过以下 10 项生产合规性检测验收维度交付验收硬性标准校验手段 / 工具状态 (PASS/FAIL)流式连接网关层关闭 BufferingToken 输出无首字延迟抓包检查响应头Content-Type: text/event-stream[ ] PASS长连接上限网关支持单机 10,000 并发 SSE 长连接k6脚本模拟长连接持续保持 5 分钟[ ] PASS异常中断恢复客户端断线重连后能基于Last-Event-ID续传手动断网 2 秒验证重新握手[ ] PASS超时保护单次 Token 间间隔超时设为 2s总长超时设为 120s模拟后端 hang 住验证前端是否提示超时[ ] PASS敏感情报过滤输入/输出必须经过敏感词与安全 Guardrail 过滤投递特定敏感测试语句校验拦截器[ ] PASS语义缓存高频通用 Prompt 命中 Cache不消耗模型 Token两次发送相同问答校验第二次延迟 20ms[ ] PASS并发限流针对租户/用户配置 Token-Bucket 限流ab压测触发 429 Too Many Requests[ ] PASS降级兜底上游 5xx 时自动切至备用小模型或预置回答故意将主 Endpoint 域名解析设为无效[ ] PASS资源隔离批处理 Worker 与 SSE 实时响应线程池隔离提交 100 个后台长任务校验在线 Chat 无卡顿[ ] PASS链路追踪每次生成分配全局Trace-ID带上 Prompt 消耗数SkyWalking / Jaeger 诊断 Trace 关联[ ] PASS大模型应用真正的技术壁垒不在于 Prompt 写得有多花哨而在于底层架构能否在万级并发、网络抖动、模型服务波动的真实残酷环境里依然保持吐出每一个 Token 的稳定与流畅。补齐这 10 项生产底座标准Demo 才能真正走向生产。 请求重试的隔离边界
请求重试的隔离边界“原型怎样变成可用功能”首先要落到可观察、可回滚的工程动作上。本文从配置、调用链和运行指标三个层面梳理判断方法重点说明应先收集什么证据、怎样做小范围验证以及何时应停止扩张改动。文中出现的故障现象、容量规模、延迟和资源数值均为说明机制的示例并非可直接套用的线上结论。实际阈值应结合服务目标、依赖能力、流量形态和压测结果确定涉及生产变更时应先灰度并保留回滚路径。原型与生产底座的天然鸿沟现场诊断评估一套 LLM 后端架构是否具备生产可用性主要看它能否应对以下典型高并发异常SSE 长连接把 Nginx / API 网关资源耗尽传统 HTTP 网关的超时配置为 60 秒但大型推理任务可能长达 2 分钟。连接长时间挂起导致 HTTP/1.1 连接池被占满后来的普通用户连登录接口都进不来。缺乏 Prompt Cache 导致算力与钱被白白浪费大量用户重复提问相似的系统上下文如企业规章制度、标准 API 文档每次都将上万 Token 重新推给模型计算导致上游 GPU 利用率居高不下且响应延时拉长。缺乏流式传输中的断线重连机制Reconnection Gap用户网络稍微闪断 1 秒SSE 管道断开前端丢包整个生成过程白费用户只能被迫重新生成。生产级后端底座的 4 个核心架构支柱把 Demo 改造成可用功能后端底座必须建立四项刚性能力。1. 基于 Redis 向量相似度的语义缓存Prompt Cache在发起大模型推理前先对标准化 Prompt 进行 Hash 与语义相似度匹配。对高频通用问题直接返回缓存结果。package com.company.architecture.llm.cache; import org.springframework.stereotype.Component; Component public class PromptSemanticCacheManager { /** * 在发起高成本 LLM 调用前先查语义缓存 */ public String getCachedResponseIfPresent(String userQuery) { String queryHash calculateHash(userQuery); // 1. 精确 Hash 匹配 String exactMatch readFromRedis(exact: queryHash); if (exactMatch ! null) { return exactMatch; } // 2. 向量相似度模糊匹配 (相似度 0.95 判定为同一问题) // 此处伪代码逻辑访问 Qdrant / Milvus double similarity 0.96; if (similarity 0.95) { return readFromRedis(vector_hit_result); } return null; // 未命中需要走大模型推理 } private String calculateHash(String text) { return Integer.toHexString(text.hashCode()); } private String readFromRedis(String key) { // 读 Redis 逻辑 return null; } }2. SSE 长连接与 HTTP/2 Multiplexing 改造传统 HTTP/1.1 每个 SSE 连接占用一个 TCP 链接生产环境必须在网关层启用HTTP/2 协议多路复用并针对长连接配置特定的 Keep-Alive 心跳# 生产环境 Nginx 反向代理配置示例 location /v1/chat/completions { proxy_pass http://llm_backend_stream; proxy_http_version 1.1; # 关闭 Buffer实现真实的 SSE 实时流式响应 proxy_buffering off; proxy_cache off; # 设置超长 Timeout 匹配大模型生成耗时 proxy_read_timeout 600s; proxy_send_timeout 600s; # 启用 SSE 响应头保持 proxy_set_header Connection ; proxy_set_header Chunked_Transfer_Encoding on; }3. 多 Vendor / Provider 动态权重路由与降级绝不能将所有流量押注在单一模型供应商身上。底座必须具备自动检测 Endpoint 健康度并进行多厂商平滑切流的能力package router import ( errors sync/atomic ) type Provider struct { Name string Weight int32 IsHealthy uint32 // 1: healthy, 0: unhealthy } type ModelRouter struct { providers []*Provider } func (r *ModelRouter) SelectProvider() (*Provider, error) { for _, p : range r.providers { if atomic.LoadUint32(p.IsHealthy) 1 { // 根据权重选出可用的 Provider return p, nil } } return nil, errors.New(all LLM provider endpoints are currently down) }从原型到生产的 10 项交付验收清单Checklist在将大模型应用交付上线前系统架构必须通过以下 10 项生产合规性检测验收维度交付验收硬性标准校验手段 / 工具状态 (PASS/FAIL)流式连接网关层关闭 BufferingToken 输出无首字延迟抓包检查响应头Content-Type: text/event-stream[ ] PASS长连接上限网关支持单机 10,000 并发 SSE 长连接k6脚本模拟长连接持续保持 5 分钟[ ] PASS异常中断恢复客户端断线重连后能基于Last-Event-ID续传手动断网 2 秒验证重新握手[ ] PASS超时保护单次 Token 间间隔超时设为 2s总长超时设为 120s模拟后端 hang 住验证前端是否提示超时[ ] PASS敏感情报过滤输入/输出必须经过敏感词与安全 Guardrail 过滤投递特定敏感测试语句校验拦截器[ ] PASS语义缓存高频通用 Prompt 命中 Cache不消耗模型 Token两次发送相同问答校验第二次延迟 20ms[ ] PASS并发限流针对租户/用户配置 Token-Bucket 限流ab压测触发 429 Too Many Requests[ ] PASS降级兜底上游 5xx 时自动切至备用小模型或预置回答故意将主 Endpoint 域名解析设为无效[ ] PASS资源隔离批处理 Worker 与 SSE 实时响应线程池隔离提交 100 个后台长任务校验在线 Chat 无卡顿[ ] PASS链路追踪每次生成分配全局Trace-ID带上 Prompt 消耗数SkyWalking / Jaeger 诊断 Trace 关联[ ] PASS大模型应用真正的技术壁垒不在于 Prompt 写得有多花哨而在于底层架构能否在万级并发、网络抖动、模型服务波动的真实残酷环境里依然保持吐出每一个 Token 的稳定与流畅。补齐这 10 项生产底座标准Demo 才能真正走向生产。