大模型推理加速双响炮：英伟达双塔扩散 vs 阶跃 JetSpec，自回归的「逐字蹦」时代正在终结
2026年7月的第一周，AI推理加速领域接连迎来重磅开源——英伟达用双塔架构把扩散LLM推理打到2.42倍吞吐，阶跃星辰用因果并行草稿头把推测解码拉到9.64倍加速。两条路线殊途同归，指向同一个目标：让大模型不再逐字蹦。
自回归的原罪：为什么大模型总是「半个字半个字」往外蹦
你有没有想过，为什么ChatGPT回答一个问题，总是逐Token生成，看起来像打字机？不是它不想快。是它的底层架构——自回归——天生就规定了一个铁律：每次只能预测下一个Token，然后基于这个新Token再预测下一个。生成1000个Token，就必须做1000次前向推理。借助KV Cache可以减少单步计算量，但步数本身无法压缩。
当Agent应用爆发、大模型从"能对话"走向"能干活"，这个瓶颈变得更加致命。一次多步推理可能需要数万Token的中间输出，延迟从秒级变成分钟级。推理效率，已经是比模型能力更紧迫的战场。
英伟达 TwoTower：把扩散模型真正跑赢自回归
2026年7月1日，英伟达在HuggingFace开源了Nemotron-Labs-TwoTower，一个总参数60B的离散扩散语言模型。核心数据很直接：生成吞吐量提升2.42倍，质量保留98.7%。
架构拆解：两座塔，各干各的
传统自回归模型只有一条推理路径。TwoTower把它拆成两座独立的神经网络：
- 上下文塔（Context Tower）：30B参数，保持冻结不做训练。走经典自回归模式，慢但语义精准，负责维护已生成内容的上下文语义。
- 去噪塔（Denoising Tower）：30B参数，接收被噪声污染的Token块，通过扩散机制逐步去噪，一次性复原出完整文本块。
两塔之间通过逐层交叉注意力连接——去噪塔在每一层都从上下文塔那里"偷看"KV缓存和Mamba-2状态信息，确保并行生成的内容语义不偏离。
为什么这个设计聪明
扩散LLM不是新概念。LLaDA、Dream等模型早已证明扩散范式在文本生成中的可行性。但它们一直面临两个致命问题：一是扩散需要多次迭代，每一步全句前向计算，开销巨大；二是扩散模型是双向的，无法复用自回归的KV Cache策略——每一步所有位置都在变化，缓存直接作废。
TwoTower的解法很直接：不要用一个模型同时做理解和生成。让冻结的上下文塔保持语义连贯性，让去噪塔专注并行生成。这带来三个关键优势：
- 架构层面的速度突破：不是推理优化，而是从模型结构上解耦。每座30B塔仅激活3B参数、搭载128个可路由专家模块，总参数60B但实际计算密度很高。
- 训练成本极低：骨干网复用Nemotron-3-Nano-30B-A3B的25T Tokens预训练权重，只额外训练去噪塔约2.1T Tokens。对比从头训练的扩散LLM，成本低了一个数量级。
- 质量可控：默认配置（γ=0.8，块大小S=16，BF16精度，双卡H100）下，MMLU仅从78.56降至78.24，ARC-Challenge甚至从91.72升至92.66。代码和数学有小幅下滑（HumanEval从79.27到75.58），但综合质量很稳。
一个值得注意的细节：默认运行需要双卡H100或A100 80GB。英伟达在推技术的同时，也在悄无声息地强化"用英伟达卡跑英伟达模型"的生态闭环。
阶跃 JetSpec：把推测解码的扩展天花板撕开
几乎同一时间，阶跃星辰联合UCSD、浙大、UIUC、南京大学开源了JetSpec——面向推测解码（Speculative Decoding）的新框架。核心数据同样惊人：H100上MATH-500解码加速9.64倍，开放式对话4.58倍。
推测解码的「因果与效率两难」
推测解码的原理很直观：用一个轻量级"草稿模型"先猜N个Token，让大模型一次性并行验证，接受最长一致前缀。草稿猜得准、开销低，加速比就上去。
但实际没那么简单。加速比有一个公式化的天花板：
期望加速比 ≈ (1 - α^(N+1)) / ((1-α)(1+Nc))α是平均接受率，c是草稿模型相对目标模型的单步开销比，N是草稿长度。N越大分子越大，但分母里的Nc也在增长。α稍微往下掉，盲目推N的收益就被吃掉。
过往方案各做一头，谁也没同时拿下：
- 自回归草稿器（EAGLE系列）：分支因果清晰，α高；但每次都要逐步推理，草稿开销随树深增长，c压不下来。
- 块扩散草稿器（DFlash）：一次前向全预测出来，c极低；但每个位置是分支无关的边缘分布，拼起来可能互相打架，α受影响。
这就是SD的"因果与效率两难"——有因果的没效率，有效率的没因果。
JetSpec的破局：一次前向产出带因果的整棵树
JetSpec的核心是一个因果并行草稿头（Causal Parallel Draft Head）。它复用冻结目标模型的多层隐藏状态，一次前向输出整棵候选树所有节点的logits。
关键在于树形因果注意力掩码（Tree-Causal Attention Mask）：每个树节点只能看到原始前缀和自身分支上的祖先，看不到后代和兄弟分支。所有节点在一次前向中并行计算，每条分支内部依然保持自回归依赖结构。
用一句话概括：和DFlash一样是一次前向（c极低），和EAGLE一样保留分支因果（α拉得高）。
训练上用前向KL散度做软标签蒸馏，数据覆盖780K条Nemotron Post-Training Dataset V2加20K条CodeAlpaca。构造候选树时，每步设好最大树深N、分支宽度W和总预算B，贪心扩展直到预算填满。
实测数据
在Qwen3-8B（稠密）和Qwen3-30B-A3B（MoE）上实测：
| 基准 | JetSpec加速比 | 对比EAGLE-3 | 对比DFlash |
|---|---|---|---|
| MATH-500 | 9.64x | 显著领先 | 6.12x |
| AIME25 | 8.78x | — | — |
| GSM8K | 7.82x | — | — |
| HumanEval | 7.12x | ~2x | — |
| MT-Bench | 4.58x | — | — |
预算从16加到32时，DFlash多数基准已饱和或下滑，JetSpec还能继续往上走——说明多出来的预算被有效转化，不是浪费。
有个服务层面的发现值得关注：批量大小1时树预算128可达6.75倍吞吐加速；批量32时同预算只剩2.85倍。树预算要跟着服务负载走，低负载大预算换吞吐，高负载中等预算更划算。
两大路线的对比与展望
| 维度 | TwoTower（扩散路线） | JetSpec（推测解码路线） |
|---|---|---|
| 核心思路 | 架构层面拆分理解/生成 | 推理层面并行验证草稿 |
| 加速倍数 | 2.42x | 9.64x（math）/ 4.58x（chat） |
| 质量损失 | 1.3%（可接受） | 0（无损） |
| 部署成本 | 双卡H100起 | 与目标模型同卡 |
| 通用性 | 需额外训练去噪塔 | 只需训练草稿头，轻量 |
两条路线并不互斥，甚至可能叠加。JetSpec的因果并行草稿头可以嫁接在任何自回归主干上，而TwoTower的扩散生成可以进一步用SD加速验证。未来顶级推理系统的答案或许不是二选一，而是混合架构：用自回归做对话和推理，用扩散做长文本生成，用推测解码加速所有路径。
对于开发者而言，这两次开源释放了一个强烈信号：大模型推理效率的天花板正在被系统性地攻破。无论是选择改造模型架构（TwoTower），还是在推理层做文章（JetSpec），自回归的一步一卡模式，正在走向历史。更快的生成、更低的成本、更广的部署场景，正在成为现实。
标签：#大模型推理加速#Nemotron-TwoTower#JetSpec#推测解码#扩散LLM#英伟达#阶跃星辰#开源#SpeculativeDecoding#LLM优化