P99 和 P9999 到底是什么
它们是**百分位延迟（Percentile Latency）**指标，描述的是「绝大多数请求有多快」，而不是「平均有多快」。
- P99：把所有请求的耗时从小到大排序，第 99% 位置的那个值。即 99% 的请求都比这个值快，只有 1% 的请求比它慢。
- P9999（也写作 P99.99）：99.99% 的请求都比这个值快，只有 万分之一的请求比它慢。
P9999 是 P99 的「更尾部」版本，专门盯着那些极少数但可能要命的慢请求（长尾延迟，long tail）。
一个具体例子
假设某接口 1 分钟内收到 10000 次请求，把每次耗时排序后：
┌───────────────┬────────────┬────────────────┬────────┐
│ 指标 │ 排序位置 │ 含义 │ 假设值 │
├───────────────┼────────────┼────────────────┼────────┤
│ P50（中位数） │ 第 5000 个 │ 一半请求快于此 │ 20ms │
├───────────────┼────────────┼────────────────┼────────┤
│ P90 │ 第 9000 个 │ 90% 快于此 │ 50ms │
├───────────────┼────────────┼────────────────┼────────┤
│ P99 │ 第 9900 个 │ 99% 快于此 │ 200ms │
├───────────────┼────────────┼────────────────┼────────┤
│ P9999 │ 第 9999 个 │ 99.99% 快于此 │ 1200ms │
└───────────────┴────────────┴────────────────┴────────┘
读法：
- 平均延迟可能只有 30ms，看起来很美。
- 但 P99 = 200ms 说明有 100 个请求（1%）慢于 200ms。
- P9999 = 1200ms 说明那最慢的 1 个请求要 1.2 秒——这就是「长尾」。
▎ 注意：10000 个样本算 P9999 其实只剩 1 个点，统计意义不足。真正看 P9999 通常要在 百万级以上请求量下才有意义，否则数字会剧烈抖动。
为什么要看 P99 / P9999，而不是平均值
平均值会被「掩盖」。看一组对比：
请求耗时(ms): 10, 10, 10, 10, 10, 10, 10, 10, 10, 5000
平均值 = (90 + 5000)/10 = 509ms ← 看起来还行
P50 = 10ms ← 真实体感很快
P99 ≈ 5000ms ← 暴露了有人卡了 5 秒
平均值把那个 5 秒的请求「摊薄」了，你根本看不出有人体验极差。百分位指标专门用来抓这种被平均值藏起来的问题。
长尾为什么在大流量下是灾难（架构师视角）
这是面试里能体现深度的点：
- 扇出放大效应。一个前端请求往往要调 N 个后端服务。假设单服务 P99=200ms，一个请求并发调用 100 个服务，那么「至少有一个落到那慢的 1%」的概率 ≈ 1 - 0.99¹⁰⁰ ≈ 63%。也就是说，单看单服务 P99 很漂亮，但聚合后超过一半的用户请求都会被某个慢节点拖慢。所以高扇出系统必须盯 P999 / P9999，而不能只看 P99。
- 长尾的常见根因：GC 停顿（STW）、缓存 miss 回源、慢 SQL / 锁等待、网络抖动重传、热点 key、限流排队、JIT 预热、连接池耗尽。
- 常见治理手段：对冲请求（hedged request，超过 P99 就再发一个副本取先返回的）、超时 + 重试、缓存预热、请求并行化、隔离慢依赖（熔断/降级）。
工程实践要点
- SLO 通常写成百分位，例如「P99 < 300ms，P999 < 1s」，而不是「平均 < 100ms」。
- 计算方式上，监控系统（Prometheus 的 histogram、TDigest、HdrHistogram）一般用分桶近似算百分位，因为存全部原始数据排序代价太大。这也意味着 P9999 的精度依赖桶的划分。
- 不要跨时间窗口对百分位取平均（P99 的平均不等于整体 P99），这是常见错误。
一句话总结面试可用：
▎ 「平均值告诉你系统通常多快，P99/P9999 告诉你最差的那批用户有多痛苦。在高扇出的大数据/分布式系统里，长尾延迟会被扇出放大，所以我们用 P999、P9999 作为 SLO 来约束尾部延迟，并通过对冲请求、超时降级、缓存预热等手段治理长尾。」