一文讲透LLM对齐三剑客：PPO、GRPO、DPO原理、差异与选型指南

引言

在大模型落地的工程实践中，「预训练+监督微调（SFT）」早已是行业标配，能覆盖 90%以上的通用业务场景。但如果想突破能力天花板——无论是让模型的数学推理、代码生成再上一个台阶，还是严格管控输出风格、筑牢内容安全防线，就必然会接触到强化学习对齐。

当下大语言模型领域的强化学习对齐，早已不是早年 PPO 一家独大的局面。随着 DeepSeek 等模型带火了 GRPO，以及 DPO 凭借极简架构席卷开源社区，三条技术路线各有侧重、成本差异巨大，选错方案很容易陷入「算力花了不少，效果不达预期」的困境。

本文会顺着初学者的认知路径，从最经典的 PPO 讲起，到轻量化革新的 GRPO，再到极简的 DPO，拆解每一种算法的底层逻辑、核心设计与适用边界，最后给出可直接落地的选型建议。

一、为什么 SFT 不够？从「临摹」到「创造」的能力鸿沟

在讲算法之前，先理清一个根本问题：既然 SFT 简单又稳定，为什么还要做强化学习？

SFT 的本质是临摹式学习：给模型喂大量「问题+标准答案」的配对数据，让模型学习人类的回答范式。它就像照着字帖练字，写出来的字工整规范，但永远超不出字帖的范围。对应到模型能力上，SFT 能复刻已知的解题方法、话术风格，却很难自主探索出更优的推理路径，能力上限完全由标注数据决定。

而强化学习的逻辑是目标导向的探索：它不规定模型每一步该怎么说，只定义「什么样的结果是好的」，让模型在试错中自主摸索最优策略。比如做数学题，SFT 只能教会模型它见过的题型，而强化学习可以让模型自己尝试不同的推导路径，只要最终答案正确、过程合理就能获得奖励，进而自主总结出通用的解题思路。

在 2025 年之前，业界普遍认为强化学习的核心价值是做安全对齐、规范模型输出；而 DeepSeek 系列模型爆火之后，行业共识被彻底刷新——强化学习更是撬动模型智力上限的核心杠杆，尤其是在多步骤推理、复杂代码生成等场景，效果远超单纯的 SFT。

这也是 PPO、GRPO、DPO 三类算法共同的底层目标：通过奖励信号引导模型进化，突破监督微调的能力天花板。

二、PPO：经典 RLHF 的完整范式，重资产的四模型架构

PPO（近端策略优化）是最早规模化落地大模型 RLHF 的算法，也是 ChatGPT 初代版本采用的核心方案。它的架构最完整、理论最成熟，但同时也是算力成本最高、工程复杂度最大的一种。

2.1 四大核心模型：一套完整的「教学闭环」

PPO 的整套流程依赖 4 个模型协同工作，构成一个从「答题→打分→预判→约束」的完整闭环，业内也常称之为「四模型架构」。

1. Actor 模型：待优化的「学生」

Actor 就是我们最终要上线的主模型，通常是完成 SFT 后的基座模型。它负责接收问题、生成回答，是整个流程里唯一会持续更新参数的模型，我们所有的优化最终都会落到它身上。

2. Reward 模型：客观判分的「阅卷官」

Reward 模型是专门训练的打分模型，输入是「问题+回答」，输出是 0~1 的质量分数。它的角色就像考试阅卷老师，只看最终结果好坏，给出客观评分，是整个强化学习的奖惩基准。

• 它的训练通常基于人工标注的偏好数据：同一个问题，标注出哪个回答更好，再通过偏好学习训练出打分能力；
• 它的质量直接决定了 PPO 的上限：如果 Reward 模型打分不准，模型就会学到错误的优化方向。

3. Critic 模型：预判预期的「私教」

很多初学者最困惑的点就是：已经有 Reward 打分了，为什么还要一个 Critic？ 这恰恰是 PPO 的关键设计。想象一个场景：一道简单的口算题，模型答对得 100 分；一道复杂的证明题，模型做对一半得 60 分。如果只看绝对分数，模型会倾向于只做简单题、逃避难题，出现「捡软柿子捏」的投机行为。

Critic 的作用就是给出当前状态下的预期得分：简单题预期分高，难题预期分低。用「Reward 实际得分 - Critic 预期得分」计算出优势值（Advantage），代表这次回答超出预期的程度。简单题答对了，预期分本身就高，优势值并不大；难题答对了一半，预期分很低，优势值反而很高。

• 优势值才是指导 Actor 更新的真正信号，它能过滤掉题目难度的干扰，让模型真正从「有进步的回答」里学习；
• Critic 本身也需要同步训练，目标是不断拟合真实的 Reward 得分，让自己的预期越来越准。
• 工程代价：Critic 通常和 Actor 参数量一致，相当于同时跑两个大模型，显存占用直接翻倍。

4. Reference 模型：守住底线的「紧箍咒」

只靠奖励分数引导，模型很容易走上「歪路」，也就是行业常说的奖励投机（Reward Hacking）。比如发现 Reward 模型偏爱长回答，模型就会疯狂堆砌废话、重复话术，用冗长的无效内容刷高分，完全偏离实际需求。

Reference 模型就是用来做约束的：它是 SFT 结束后冻结的原始模型，全程不更新参数。训练时会计算 Actor 和 Reference 输出的 KL 散度，衡量两者的分布差异——如果 Actor 偏离原始模型太远，就会施加惩罚，相当于给模型套上紧箍咒，防止它为了刷分彻底跑偏，同时也能避免灾难性遗忘，保住模型原有的通用能力。

2.2 PPO 的核心痛点

1. 算力成本极高：四个大模型同时驻留显存，还要做在线生成、多轮反向传播，7B 级别模型通常需要多张 A100 才能跑通，小团队很难承担；
2. 工程链路复杂：从数据采样、优势计算（GAE）、裁剪更新（Clip）到多模型梯度隔离，环节众多，调参门槛高，很容易出现训练不稳定、不收敛的问题；
3. 迭代速度偏慢：每一轮更新都要先生成回答、再打分、再更新，循环周期长，试错成本高。

三、GRPO：推理时代的轻量化革新，砍掉 Critic 的高效方案

GRPO（Group Relative Policy Optimization，分组相对策略优化）是 2025 年随着 DeepSeek-R1 爆火的改良方案，核心定位就是用更低的成本实现更强的推理能力提升，也是当前数学、代码类模型对齐的首选。

3.1 核心改良：用「分组相对优势」替代 Critic

GRPO 最大的突破，就是直接砍掉了占用大量显存的 Critic 模型，用「分组对比」的思路实现了类似的效果。

它的逻辑非常直观： 同一个问题，让 Actor 一次性生成 N 条不同的回答（比如 8 条），全部送入 Reward 模型打分，再计算这组回答的平均分。单条回答的分数减去组内平均分，就是它的相对优势。

• 高于平均分的回答就是「好回答」，获得正优势，模型会增加这类输出的概率；
• 低于平均分的就是「差回答」，获得负优势，模型会降低这类输出的概率。

这种设计天然解决了「题目难度差异」的问题：简单题整体分数都高，平均分也高，想拿到正优势并不容易；难题整体分数都低，平均分也低，只要比其他回答好一点就能拿到正优势。不需要 Critic 来预判预期分，靠组内相对对比就实现了同等效果。

3.2 GRPO 为什么适合提升推理能力？

1. 天然适配多路径解题：数学、代码这类问题，往往有多种解题思路。GRPO 同一问题生成多条回答，相当于让模型同时尝试多种路径，再通过相对优势筛选出更优的推理链，引导模型学会深度思考；
2. 显存开销大幅降低：少了一个和 Actor 同尺寸的 Critic 模型，显存压力下降近一半，中小规模模型单卡就能跑通训练；
3. 训练链路更简洁：去掉 Critic 的更新流程，代码实现更简单，调试成本也随之降低，迭代速度明显快于原生 PPO。

3.3 GRPO 的边界

GRPO 的优势集中在「智力提升」，但也有明显短板：

• 它对输出风格、安全合规的约束弱于 DPO，更适合做能力增强，不适合做主安全对齐；
• 依赖 Reward 模型的打分精度，如果奖励信号有偏差，分组对比也会把模型带向错误的方向。

四、DPO：极简直接偏好优化，低成本搞定风格与安全

如果说 GRPO 是给 PPO 做了「减法」，那 DPO（Direct Preference Optimization，直接偏好优化）就是彻底重构了对齐范式——它完全抛弃了独立的奖励模型，把「奖励建模+策略优化」两步合并成一步，是目前工业界做轻量化对齐的绝对主流。

4.1 核心逻辑：直接用偏好数据优化策略

DPO 的训练数据非常简单：不需要在线生成回答，不需要单独训练 Reward 模型，只需要离线的偏好数据集，每条样本包含三部分：问题query + 优质回答chosen + 劣质回答rejected。

它的训练目标也很直白：让模型对「优质回答」的生成概率越来越高，对「劣质回答」的生成概率越来越低。同时公式中天然隐式包含了与 Reference 模型的 KL 散度约束，不需要额外加惩罚项，就能保证模型不严重偏离基准。

从工程实现来看，DPO 的训练流程和 SFT 几乎没有区别：都是喂入离线数据、计算损失、反向传播更新参数。只是把 SFT 的交叉熵损失，换成了偏好对比损失，落地门槛极低。

4.2 DPO 的优缺点

✅ 优势非常突出：

1. 成本极低：只需要 Actor 和 Reference 两个模型，算力开销和 SFT 处于同一量级，远低于 PPO 和 GRPO；
2. 训练稳定：离线训练、数据固定，不会出现在线强化学习的震荡、崩溃问题，调参简单；
3. 对齐效果精准：在风格统一、语气调整、安全合规、价值观对齐等场景，效果稳定可控，是很多开源模型做安全对齐的标配。

❌ 短板也很明确：

• 能力提升上限有限：依赖人工标注的好坏样本，模型很难探索出标注之外的全新推理路径，对数学、代码等硬核智力的提升效果远不如 GRPO；
• 标注质量决定一切：如果偏好数据标注不一致、质量差，DPO 的效果会直接大打折扣。

4.3 延伸：DPO 家族的变体

DPO 之后还衍生出了很多改进版本，比如 KTO、IPO、ORPO 等，核心思路都是围绕偏好对比做优化，本质都属于同一类「直接偏好优化」范式，整体架构和算力成本和 DPO 基本一致。

五、横向对比：一张表看懂三者核心差异

六、落地选型：不同场景怎么选不踩坑

了解原理之后，落地时可以按照「场景优先、成本匹配」的原则选择，不用盲目追求复杂算法。

1. 优先选 DPO 的场景

• 垂域小模型落地，主要需求是规范输出话术、过滤违规内容、统一回答风格；
• 团队算力有限、工程人员少，想低成本快速完成基础对齐；
• 核心诉求是安全合规，而非大幅提升模型推理能力。

2. 优先选 GRPO 的场景

• 主打数学解题、代码生成、复杂逻辑推理，目标是提升模型硬核智力；
• 有一定算力基础，但不足以支撑完整 PPO 流水线；
• 已经做完 SFT 和 DPO，想进一步突破能力天花板。

3. 考虑 PPO 的场景

• 超大规模基座模型研发，有充足的算力、标注和工程团队；
• 需要同时兼顾能力提升、安全对齐、风格控制等全维度需求；
• 有成熟的 RLHF 工程积累，能驾驭复杂的多模型训练链路。

几个常见误区提醒

1. 不是强化学习一定比 SFT 强：如果只是日常问答、知识科普类场景，高质量 SFT 的效果往往不输强化学习，强行上反而可能引入不稳定；
2. 不是算法越复杂效果越好：在安全对齐场景，DPO 的实际效果通常不输 PPO，成本却只有几分之一；
3. 奖励信号是上限：无论 PPO 还是 GRPO，奖励模型/偏好数据的质量，永远比算法本身更重要。劣质的奖励信号，再好的算法也救不回来。

结语

从 PPO 到 GRPO 再到 DPO，大模型对齐算法的演进脉络非常清晰：从复杂到简洁，从重资产到轻量化，从通用到专精。

没有绝对最优的算法，只有最适合场景的方案。对大多数从业者而言，理解三者的底层逻辑与适用边界，比死磕算法细节更有价值——毕竟落地时，用最低的成本达成业务目标，才是核心诉求。 随着大模型推理能力的持续进化，对齐算法还会不断迭代，但只要抓住「奖励引导、约束边界」的核心逻辑，就能跟上行业的变化节奏。