一、注意力机制：从多头到潜在
注意力是Transformer最核心的运算。标准的多头自注意力（MHA）将输入投影到多个独立子空间，在每个子空间内独立计算注意力分布，最后拼接输出。其计算复杂度为O(n²d)，其中 n 为序列长度，d 为隐藏维度。对于长序列而言，计算量和显存开销迅速膨胀，成为瓶颈。
为降低推理阶段KV缓存的大小，Shazeer于2019年提出了多查询注意力（MQA），令所有注意力头共享同一组Key和Value投影，仅保留Query的多头结构。MQA将KV缓存减少为原来的1/h（h为头数），以微弱的精度代价换取了显著的推理加速。然而MQA存在表达能力不足的问题——当模型容量较小时，共享KV会导致注意力模式的多样性受限。
2023年，Ainslie等人提出的**分组查询注意力（GQA）**在MHA和MQA之间取得了一个优雅的折中：将查询头分为若干组，每组内部共享KV投影。这相当于在KV缓存大小和表达力之间引入了一个连续的可调节参数g（组数）。GQA被Google的PaLM 2、Meta的Llama 2/3等主流模型广泛采用，事实上已成为当前大模型的标准注意力配置。
DeepSeek-V2（2024）走得更远，提出了多头潜在注意力（MLA），这也是DeepSeek系列模型的核心创新之一。MLA的思路是引入一个低秩的潜在空间来压缩KV表示：在训练时学习一个降维投影矩阵，将KV映射到远小于原始维度的潜在向量上；推理时直接缓存低维潜在表示，注意力计算时再通过升维矩阵还原。MLA在DeepSeek-V3上实现了与MHA相当的精度，同时将KV缓存降低至原来的1/5以下，极大地缓解了长上下文推理的瓶颈。这一设计使DeepSeek-V3得以原生支持128K token的上下文窗口。
📄 关键论文
MQA：Fast Transformer Decoding: One Write-Head is All You Need· arXiv:1911.02150
GQA：GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints· arXiv:2305.13245
MLA：DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model· arXiv:2405.04434
二、位置编码：绝对、相对与消失
Transformer本身是置换不变的——单纯的注意力机制无法感知token的顺序。为此，Vaswani等人在原始论文中引入了正弦位置编码（Sinusoidal PE），将位置信息以固定频率的正余弦函数注入输入表示。这种绝对位置编码简单高效，但依赖外推能力，当推理长度超出训练长度时性能急剧退化。
2021年，苏剑林提出的**旋转位置编码（RoPE）**是一个里程碑式的突破。RoPE通过旋转矩阵将位置信息编码为注意力计算中Query和Key的相对角度差，天然具有相对位置编码的特性，且具备良好的长度外推能力。RoPE迅速被LLaMA、Qwen、DeepSeek等主流模型采用，成为当前最广泛使用的位置编码方案。
2023年，YaRN在RoPE基础上进一步提出了一种高效的外推方法，通过对不同频率分量施加不同的缩放因子，在微调极少数据的情况下将上下文窗口扩展了数十倍。
与这一趋势形成有趣对照的是，2023年Haviv等人发现：即使完全不使用位置编码（NoPE），仅靠因果注意力掩码，Transformer在特定训练设置下仍然可以隐式学习到位置信息。这一发现暗示注意力机制本身具备某种内在的位置感知能力，位置编码或许并非不可或缺。
📄 关键论文
RoPE：RoFormer: Enhanced Transformer with Rotary Position Embedding· arXiv:2104.09864
YaRN：YaRN: Efficient Context Window Extension of LLMs· arXiv:2309.00071
NoPE：The Impact of Positional Encoding on Length Generalization· arXiv:2305.19466
三、归一化：训练稳定性的隐秘战场
在Transformer训练中，归一化层的选择对收敛速度和最终性能有着显著影响。原始Transformer采用了LayerNorm，对每个token的隐藏维度计算均值和方差进行标准化。LayerNorm的优点在于其稳定性和广泛应用的历史验证，但计算开销较大。
2019年，Zhang和Sennrich提出了RMSNorm（Root Mean Square Layer Normalization）——直接使用均方根值进行标准化，省去了均值减除步骤。RMSNorm计算量仅为LayerNorm的约三分之二，而在实践中精度基本无损。得益于LLaMA系列模型的推广，RMSNorm已成为当前大多数开源模型的标准归一化方案。
在归一化位置方面，2020年的一篇研究系统对比了Pre-Norm（在子层之前归一化）和Post-Norm（在子层之后归一化）的行为差异。结论是Pre-Norm在训练初期梯度更稳定，收敛更快，尤其适合从零开始训练的深层网络。这与同年提出的RealFormer（引入QK归一化以维持softmax之前的稳定性）共同推动了现代LLM普遍采用Pre-Norm或混合Pre/Post-Norm的设计方向。
📄 关键论文
LayerNorm：Layer Normalization· arXiv:1607.06450
RMSNorm：Root Mean Square Layer Normalization· arXiv:1910.07467
Pre/Post-Norm：On Layer Normalization in the Transformer Architecture· arXiv:2002.04745
四、稀疏与线性注意力：突破二次复杂度
标准注意力的O(n²)复杂度是Transformer处理长序列的最大瓶颈。稀疏注意力（Sparse Attention）的思路是每个查询token只关注一部分键token，将注意力矩阵从稠密变为稀疏，从而降低计算复杂度。
2019年的Sparse Transformer率先通过固定步长的跨步模式将复杂度降至O(n√n)，开启了稀疏注意力的研究方向。2020年的Longformer则提出了滑动窗口注意力（SWA）——每个token仅关注固定窗口内的邻近token，兼以若干全局token用于长程依赖。SWA以其实现简单、效果稳定的优势被广为采纳：Mistral采用SWA作为默认配置，Gemma 2（2024）同样选择SWA作为其基础注意力模式，证明了这一设计在工业级模型中的实用性。
2025-2026年，稀疏注意力进入了新的发展阶段。DeepSeek提出的**差分稀疏注意力（DSA）通过可微的稀疏化策略，让模型在训练中自主学习每个token应当关注的范围。在DeepSeek V4中，这一方向进一步演化为上下文稀疏注意力（CSA）和层次化上下文注意力（HCA）**：CSA动态调整不同层级的注意力窗口，浅层使用较小的局部窗口以降低计算量，深层使用较大的全局窗口以捕获长程依赖；HCA在此基础上引入层次化的路由机制，根据输入内容的复杂度自适应地分配注意力计算资源。
另一条路线是线性注意力（Linear Attention）——通过核化技巧将softmax注意力的拆分-求和顺序反转，将复杂度从O(n²)降至O(n)。2024年的Lightning Attention / TransNormerLLM通过并行化实现了线性注意力的工业级部署，2025年的Gated DeltaNet通过在循环状态上施加门控机制实现了兼具训练并行性和推理效率的线性注意力设计。KDA（Kernelized Dynamic Attention，2025）则引入可学习的动态核函数，使线性注意力在不同层级自动切换最佳的核形式。
📄 关键论文
Sparse Transformer：Generating Long Sequences with Sparse Transformers· arXiv:1904.10509
SWA / Longformer：Longformer: The Long-Document Transformer· arXiv:2004.05150
DSA：Differential Sparse Attention· arXiv:2512.02556
Gated DeltaNet：arXiv:2412.06464 ·Lightning Attention：arXiv:2401.04658 ·KDA：arXiv:2510.26692
五、状态空间模型：Mamba家族的崛起
状态空间模型（SSM）为序列建模提供了一条从传统DSP理论出发、绕过注意力机制的路径。2023年底，Albert Gu和Tri Dao提出的Mamba引入了输入依赖的选择性机制，使SSM的参数可以根据输入内容动态调整，从而在与Transformer相当的建模能力下实现了训练和推理的线性复杂度。Mamba在长序列任务上展现出令人瞩目的性能，被视作Transformer竞争者的最大潜力股。
2024年的Mamba-2通过建立SSM与结构化掩码注意力之间的形式对偶关系，揭示了Mamba实际上可被理解为一种特殊的线性注意力变体——这正是"状态空间对偶性"的核心洞察。这一理论统一不仅简化了Mamba的实现，也为将SSM高效集成到Transformer架构中铺平了道路。
2025年的Mamba-3在此基础上进一步引入了多尺度状态更新和层次化选择性机制，探索了超越传统Transformer和vanilla Mamba的第三条路径。
值得注意的是，Mamba与注意力并非非此即彼的关系。越来越多的模型开始将SSM层和注意力层混合使用（hybrid architecture），在浅层使用高效的SSM处理长程信号，在深层使用注意力捕获关键的语义关系。
📄 关键论文
Mamba：Mamba: Linear-Time Sequence Modeling with Selective State Spaces· arXiv:2312.00752
Mamba-2：Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality· arXiv:2405.21060
Mamba-3：arXiv:2603.15569
六、混合专家模型：稀疏激活的规模法则
混合专家模型（MoE）的核心思想是将一个大模型拆分为多个较小的"专家"子网络，每个token只激活其中的一小部分，从而在保持总参数量巨大的同时控制住每次前向传播的计算量。这一思想早在2017年就被Shazeer等人形式化提出，但直到2021年Google的Switch Transformer才首次将其在工业级规模上验证可行。
Switch Transformer的设计简洁而激进：每个token仅路由到一个专家（top-1 routing），将MoE的稀疏性推到了极致。然而top-1路由带来了负载不均衡的问题——某些专家被频繁激活而另一些则几乎闲置。
2024年DeepSeek提出的DeepSeekMoE在路由策略上做出了关键创新：一方面引入共享专家来处理通用模式，另一方面通过精细的辅助损失函数来平衡专家利用率，使得MoE在训练效率、推理性能和模型质量三个维度上首次实现了统一的优化。
📄 关键论文
MoE：Outrageously Large Neural Networks: The Sparsely-Gated MoE Layer· arXiv:1701.06538
Switch Transformer：Switch Transformers: Scaling to Trillion Parameter Models· arXiv:2101.03961
DeepSeekMoE：DeepSeekMoE: Towards Ultimate Expert Specialization· arXiv:2401.06066
七、DeepSeek的架构演进：V2 → V3 → V4
作为当前大模型领域最具创新力的团队之一，DeepSeek在过去两年间走出了一条清晰的架构演进路线，几乎每一代模型都在某个关键模块上实现了突破。
**DeepSeek-V2（2024）**的贡献在于两个核心架构创新：MLA（多头潜在注意力）和DeepSeekMoE。MLA通过低秩潜在空间压缩KV缓存，从根本上缓解了长上下文推理的瓶颈；DeepSeekMoE通过共享专家和精细负载均衡机制，在671B总参数下仅激活37B参数即实现了卓越的性能。这两项技术成为后续DeepSeek-V3和V4的基础。
**DeepSeek-V3（2024年底）在V2基础上做了规模化的工程优化：将MLA和DeepSeekMoE扩展到更大的规模，引入了无需辅助损失的负载均衡策略，并通过FP8混合精度训练和DualPipe流水线并行进一步提升了训练效率。其总参数量达到 **671B（激活37B），在14.8T token上进行预训练，性能全面对标GPT-4级别，而训练成本仅为竞争对手的一小部分。
**DeepSeek-V4 / V4 Pro（2025-2026）则代表了架构层面的又一次重大飞跃。其核心设计是上下文稀疏注意力（CSA）和层次化上下文注意力（HCA），可以与MLA协同工作：MLA负责压缩KV表示，而CSA/HCA负责决定每个层级的注意力范围。这种"压缩+稀疏"的双重策略使得DeepSeek V4能够在控制计算量的同时有效处理超长上下文。此外，V4还引入了修改版混合超连接（mHC）**，进一步增强了深层网络的梯度流动和训练稳定性。
📄 关键论文
DeepSeek-V2 (MLA)：arXiv:2405.04434 ·DeepSeek-V3：arXiv:2412.19437 ·DeepSeek-V4 (CSA/HCA)：DeepSeek V4 Technical Report
八、激活函数与残差连接：从GELU到混合超连接
激活函数和残差连接通常被视为"细节"，但大量实践表明，这两者的选择对模型收敛和最终性能有着不可忽视的影响。
2016年的GELU（Gaussian Error Linear Unit）因其平滑的非线性特性取代了ReLU，成为Transformer早期的标配激活函数。此后，2017年的**Swish（SiLU）通过引入可学习的β参数和自门控机制，在多个基准上超越GELU。LLaMA系列采用的SwiGLU**——将Swish与门控线性单元（GLU）结合——进一步成为当前主流大模型的默认激活函数。
在残差连接方面，2015年ResNet提出的经典**残差连接（RC）至今仍是深度学习的基础构件。2024年，Meta提出的超连接（HC）引入了可学习的连接权重矩阵，允许不同层之间建立更丰富的信号通路，显著改善了深层网络的梯度流动。DeepSeek V4在此基础上进一步提出了修改版混合超连接（mHC）**，针对Transformer的自回归特性进行了专门优化，去除了不适合语言建模的连接模式。同年，AttnResidual通过将注意力输出与残差连接的耦合方式由"叠加"改为"门控融合"，在注意力层内部建立了一种更精细的信息流控制机制。
📄 关键论文
GELU：arXiv:1606.08415 ·Swish：arXiv:1710.05941 ·SiLU/SwiGLU：arXiv:1702.03118
ResNet / RC：arXiv:1512.03385 ·HC — Hyper-Connections：arXiv:2409.19606
mHC：arXiv:2512.24880 ·AttnResidual：arXiv:2603.15031
九、展望：后Transformer时代的探索
回顾这七年的架构演进，一个清晰的趋势是：从单一模块的孤立优化走向多模块的协同设计。DeepSeek V4中的"MLA + CSA/HCA + DeepSeekMoE + mHC"组合正是这种系统级设计思想的最佳体现——每个模块的改进不再仅仅追求独立的最优解，而是被放置在全栈架构的上下文中考量。
展望未来，以下几个方向值得关注：
注意力与SSM的深度融合
Mamba-2揭示的状态空间对偶理论已经表明，注意力和SSM在数学上存在统一的形式框架。未来的架构很可能不再区分"注意力层"和"SSM层"，而是让模型自主学习在连续谱上选择最优的计算模式——浅层偏SSM以获取效率，深层偏注意力以捕获长程语义，切换点由数据驱动而非手工设计。
数据预算感知的稀疏注意力
DSpark（2025）等最新工作提出了"数据预算"的概念：不同的token和不同的层拥有不同的"注意力预算"，模型根据输入内容的复杂度和训练阶段动态分配这些预算。这意味着稀疏注意力将从一个静态的超参数调整问题，转变为一个动态的资源分配与调度问题。
从模块融合到架构搜索
当前的架构设计仍然高度依赖人工经验——MLA、GQA、DSA等创新的提出都源于研究者的深刻洞察。然而，随着架构模块的复杂化，手工设计的上限正在逼近。神经架构搜索（NAS）和大规模进化算法在计算机视觉领域已取得成功，在大语言模型架构空间中应用类似的自动化搜索方法，或许是下一阶段突破的关键。
正如Transformer在2017年以"注意力即一切"的姿态横扫了NLP领域，七年后的今天，我们正在见证注意力本身被解构、重构、以及与其他计算范式融合的过程。如果说Transformer教会了我们"注意力是必需的"，那么后Transformer时代的核心命题或许会变成：
"仅有注意力是不够的。"
本文参考文献共34篇，需要的小伙伴可以在文章内自取。