1. 先搞清楚推理模型为什么会陷入死循环
如果你跑过小参数规模的推理模型（比如2B到7B的数学解题、代码生成类模型），大概率遇到过这种情况：模型开始输出“Wait, let me reconsider...”“Alternatively...”“So...”这类自我反思的标记，然后反复重复同一段话，直到上下文窗口被填满，就是不给最终答案。这就是典型的“doom loop”（死循环）现象。
Liquid AI 开源的 Antidoom 方法，核心不是增加新能力，而是修复这种推理卡壳。它特别适合处理长思维链任务，比如多步数学证明、复杂代码调试、逻辑推演等场景。小模型因为参数有限，在遇到难题时更容易陷入这种循环。
死循环通常由三个机制共同导致：
机制一：某些标记被过度训练在推理模型中，像“Wait”“Alternatively”“So”“But”这类表示策略转换的标记，在训练数据中出现频率远高于普通文本。当模型不确定下一步该怎么走时，这些高概率标记就成了安全选择，导致模型不断回到相同的思考起点。
机制二：上下文自我强化一旦循环开始，每次重复都会让相同标记的概率趋近于1。就像陷入思维定式，越重复越难跳出。
机制三：贪婪采样加剧问题推理任务通常使用低温采样（temperature=0或接近0）来保证结果可复现。但在低温下，模型只会选择概率最高的标记，一旦循环开始就没有逃生通道。
Antidoom 的修复思路很直接：不改变模型整体能力，只针对触发循环的第一个标记进行微调，让模型在那个关键位置选择更合理的续写选项。
2. Antidoom 怎么定位和修复死循环点
2.1 死循环检测标准
Antidoom 定义死循环的检测标准是：同一段文本重复至少4次，且总长度超过60字符。这个阈值能较好平衡误判和漏判。
检测到循环后，关键步骤是定位第一个重复段的起始标记。比如模型输出：
Step 1: Calculate x. Wait, let me check... Step 1: Calculate x. Wait, let me check...第一个“Wait”就是需要干预的位置。
2.2 构建训练数据对
在触发位置，Antidoom 会提取模型预测概率最高的k个候选标记，过滤掉无意义的短标记或符号，保留最多20个合理的替代选项作为“chosen”（优选标记），而原本导致循环的标记作为“rejected”（拒绝标记）。
这样就形成了一个训练样本：
- 前缀：循环开始前的完整文本
- 拒绝标记：触发循环的那个词
- 优选标记：一组合理的替代词
这种构造方式确保训练只影响特定位置的标记分布，不会破坏模型其他能力。
2.3 Final Token Preference Optimization (FTPO) 核心差异
FTPO 和常见的 DPO（直接偏好优化）有几个关键区别：
只训练序列的最后一个标记传统偏好优化通常针对完整序列，而 FTPO 只调整循环起始点的单个标记分布。这就像精确手术，只切除问题细胞。
支持多个优选标记一个样本可以对应多个合理替代标记，避免“拆东墙补西墙”——不要用一个过度训练的标记替换另一个。
在logit空间计算KL散度跳过softmax，直接在logit层面计算分布差异，减少对无关标记的梯度影响。
两部分正则化对需要调整的标记（优选和拒绝）放宽约束，让它们能有效学习；对其他标记保持严格约束，维持模型原有分布。
这种设计让 Antidoom 在修复死循环的同时，几乎不影响模型原有的推理能力。
3. 实际训练配置和参数选择
3.1 训练超参数设置
Antidoom 通常使用LoRA进行单轮训练，但需要较高的rank值（128-256）。这与常规LoRA训练（rank=8-64）不同，因为需要更灵活地调整标记分布。
关键参数范围：
- 学习率：4e-6 到 2e-5（比全参数微调低1-2个数量级）
- 训练层：所有注意力层、MLP投影层和lm_head
- 批量大小：根据GPU内存调整，通常32-128
3.2 早停策略基于chosen_win指标
训练过程中监控chosen_win指标（优选标记胜率），当达到0.35左右时停止。这意味着在35%的样本中，优选标记的概率已经超过拒绝标记。
过度训练会适得其反。实验显示，训练时间过长可能引入新的死循环模式。单轮训练通常能在1-2小时内将死循环率从20-30%降至1-2%。
3.3 资源需求估算
对于26亿参数的模型：
- 训练数据生成：8×MI325 GPU约1小时（取决于原始死循环率）
- 模型训练：1×MI325 GPU约1-2小时
如果要在消费级GPU上运行，需要相应调整批量大小和梯度累积步数。24G显存的卡通常能处理7B模型的Antidoom训练。
4. 效果验证和温度参数的影响
4.1 死循环率大幅下降
在LFM2.5-2.6B早期检查点上：
- 训练前：10.2%的数学和编程提示词触发死循环
- 训练后：降至1.4%
更重要的是，评估分数全面提升。这证明模型本身有能力解决问题，只是被死循环阻碍了输出。
4.2 温度参数的意外发现
修复死循环后，温度参数的影响模式发生了变化：
修复前：温度越高，死循环越少，评估分数越高。这导致人们误以为高温采样有利于推理。
修复后：在temp=1.0附近性能反而下降，最佳性能出现在接近贪婪采样（temp=0.1-0.3）的区域。
这说明之前的“高温有益”直觉可能是错误的，只是高温帮助模型逃出了死循环，但牺牲了推理的连贯性。
4.3 多轮修复策略
第一轮Antidoom训练后，原本导致循环的标记被抑制，但可能暴露出其他标记的问题。比如修复了“Wait”引发的循环后，“Alternatively”可能成为新的循环点。
因此实践中可以采用迭代修复：训练→评估→发现新循环模式→再次训练。通常2-3轮后死循环率会稳定在很低的水平。
5. 实际应用时的注意事项
5.1 什么情况下需要考虑Antidoom
如果你的推理模型出现以下情况，Antidoom值得一试：
- 在长思维链任务中频繁重复相同短语
- 低温采样时问题更严重
- 模型似乎“卡住”在某个思考阶段
- 手动调整repetition_penalty效果有限或损害性能
5.2 训练数据的选择
Antidoom的效果很大程度上取决于用于诱发死循环的提示词集。理想情况下，应该使用与你的实际应用场景相似的难题集。
Liquid AI提供了antidoom-mix-v1.0作为起点，但针对特定领域（如数学证明、代码调试）最好构建专属的提示词集。
5.3 与其他技术的配合使用
Antidoom可以与其他推理优化技术结合：
与推理时间技巧配合即使经过Antidoom训练，在推理时仍可适度使用repetition_penalty（比如1.05-1.1），作为额外保险。
与思维链验证结合对于关键任务，可以设置输出验证：检测到重复模式时自动截断并重新生成。
与模型集成方案对于生产环境，可以保留原始模型和Antidoom修复版，根据任务难度动态选择。
5.4 监控和迭代
部署后需要持续监控：
- 死循环率是否保持在低位
- 是否有新类型的重复模式出现
- 模型整体性能是否稳定
建议建立自动化测试集，定期运行评估，及时发现退化问题。
Antidoom最大的价值在于它的针对性——不像传统微调那样改变模型整体行为，而是精确修复特定故障模式。这种“微创手术”式的优化思路，为推理模型的稳定性提升提供了新方向。