一、长上下文与位置编码
这是目前大模型落地的核心瓶颈之一，也是 2026 年算法工程师面试的高频考点。下面围绕 YaRN、Lost in the Middle、StreamingLLM 和长度外推/插值四个方向展开。
1. YaRN 和 RoPE 缩放（NTK-aware）的区别是什么？为什么 YaRN 在处理 128k+ 上下文时比单纯的线性缩放效果更好？
核心区别：两者都是对 RoPE（旋转位置编码）的扩展，但作用机制不同。
- NTK-aware 缩放（线性缩放）：直接对位置编码的旋转频率（基频）进行缩放，相当于把整个频谱按比例压缩。实现简单，但高频分量和低频分量被同等缩放，导致短距离位置关系失真。
- YaRN（Yet another RoPE extensioN）：结合了 NTK-aware 缩放与NTK-by-parts策略，对不同频率分量采用不同的缩放策略——高频分量保持原样（保留局部位置精度），低频分量进行插值（扩展远程依赖），并引入温度系数修正注意力熵。
为什么 YaRN 在 128k+ 上下文表现更好：
- 线性缩放把所有频率统一压缩，模型难以区分近距离 token 的相对位置，局部语义受损；
- YaRN 通过“高频保留、低频插值”的方式，在扩展上下文窗口的同时保留了局部位置分辨率，注意力分布更稳定；
- YaRN 还修正了长上下文下注意力熵增的问题，避免模型“注意力涣散”。