RLVR（可验证奖励强化学习）深度解析：从 GRPO 到 DAPO 的大模型推理能力训练新范式
- 核心痛点：传统 RLHF 依赖人类标注偏好数据成本高昂且难以扩展，而 RLVR 用程序化验证器替代人类标注，让大模型通过自我博弈获得推理能力
- 适配人群：AI 工程师、大模型训练研究者、对 LLM 推理能力提升感兴趣的技术人员
- 收获能力：理解 RLVR 范式的核心原理、掌握 GRPO/DAPO 算法细节与训练参数调优、具备实战部署 RLVR 训练流水线的能力
技术背景与演进逻辑
- 大模型后训练经历了从 RLHF 到 RLVR 的范式跃迁
- RLHF（基于人类反馈的强化学习）：需要人类标注偏好对、训练奖励模型、使用 PPO 优化 -> 成本高、扩展性差、奖励模型本身可能被 hack
- DPO（直接偏好优化）：跳过 RL 阶段直接用偏好对训练 -> 受限于训练数据质量、无法超越训练分布
- RLVR（可验证奖励强化学习）：用程序化验证器（数学检查器、代码执行器）提供奖励信号 -> 成本低、可扩展、奖励信号精确
- 关键转折点：DeepSeek-R1 的发布证明了纯 RLVR 可以涌现出推理能力
- DeepSeek-R1-Zero 仅用 GRPO + 可验证奖励就学会了 Chain-of-Thought 推理
- 没有任何人工标注的推理轨迹 -> 模型自主发现了反思、回溯等高级推理策略
- 这一结果震惊了业界：推理能力可以通过 RL 自然涌现，而非必须通过 SFT 注入
- 演进时间线：
大模型后训练技术演进 ├── 2022 -> InstructGPT/ChatGPT: RLHF 范式确立（PPO + 奖励模型） ├── 2023 -> DPO: 跳过 RL 的直接偏好优化 ├── 2024.02 -> DeepSeekMath: GRPO 算法首次提出（组相对策略优化） ├── 2024.07 -> SimPO/KTO: 偏好优化进一步简化 ├── 2025.01 -> DeepSeek-R1: RLVR + GRPO 涌现推理能力 ├── 2025.03 -> DAPO: 解决 GRPO 的长度偏差与熵坍缩问题 ├── 2025.06 -> RLVR 理论分析：可验证奖励隐式激励正确推理 └── 2026 -> Agentic RL：多轮工具使用的强化学习训练
- 大模型后训练经历了从 RLHF 到 RLVR 的范式跃迁
核心原理深度解析
RLVR 范式：可验证奖励的核心思想
- RLVR 的核心洞察：对于数学、代码、结构化推理等任务，不需要人类来判断质量
- 数学验证器：检查最终答案是否正确 -> 二值奖励（0 或 1）
- 代码执行器：运行单元测试 -> 通过率作为奖励信号
- 证明检查器：验证逻辑推导的正确性 -> 自动化、一致、低成本
- 与 RLHF 的本质区别：
对比维度 ├── 奖励信号来源： │ ├── RLHF: 人类标注偏好对 -> 训练奖励模型 -> 奖励模型打分 │ └── RLVR: 程序化验证器 -> 直接输出二值/连续奖励 ├── 奖励信号质量： │ ├── RLHF: 受标注者偏好影响、存在噪声和偏差 │ └── RLVR: 数学上精确、代码测试可复现、一致性极高 ├── 扩展成本： │ ├── RLHF: 需要大量人类标注（每条数据需人工评判） │ └── RLVR: 验证器一次编写无限使用、边际成本趋近于零 └── 适用范围： ├── RLHF: 开放式对话、创意写作等主观任务 └── RLVR: 数学推理、代码生成、逻辑推导等可验证任务 - RLVR 的训练闭环：
RLVR 训练循环 ├── 1. 采样 -> 模型对每个提示生成多个候选回答 ├── 2. 验证 -> 验证器检查每个回答的正确性 ├── 3. 奖励 -> 根据验证结果分配奖励信号 ├── 4. 优化 -> 使用策略梯度算法更新模型权重 └── 5. 迭代 -> 回到步骤 1，持续改进 ├── 正确回答被强化 -> 模型学会正确的推理路径 └── 错误回答被抑制 -> 模型避免错误的推理模式
- RLVR 的核心洞察：对于数学、代码、结构化推理等任务，不需要人类来判断质量
GRPO：组相对策略优化
- GRPO 的核心创新：用组内比较替代价值模型
- 传统 PPO 需要四个模型同时在 GPU 内存中：策略模型、参考模型、奖励模型、价值模型
- GRPO 移除了价值模型 -> 显存占用大幅降低 -> 单 GPU 即可训练
- 价值模型的作用被「组内归一化」替代：对同一提示生成多个回答，用组内均值和标准差计算优势函数
- GRPO 的优势函数计算：
GRPO 优势函数计算流程 ├── 输入 -> 一个提示 prompt ├── 采样 -> 生成 G 个回答 {o_1, o_2, ..., o_G}（通常 G=8~64） ├── 评分 -> 验证器对每个回答打分 {r_1, r_2, ..., r_G} ├── 归一化 -> 计算组内均值 μ 和标准差 σ │ ├── μ = mean(r_1, ..., r_G) │ └── σ = std(r_1, ..., r_G) └── 优势 -> A_i = (r_i - μ) / σ ├── A_i > 0 -> 该回答优于组内平均 -> 被强化 ├── A_i < 0 -> 该回答劣于组内平均 -> 被抑制 └── A_i ≈ 0 -> 该回答接近平均 -> 几乎不变 - GRPO 的数学表达：
- 策略梯度目标：m a t h c a l L m a t h r m G R P O = − m a t h b b E q s i m m a t h c a l D , o i s i m p i h e t a m a t h r m o l d [ s u m i = 1 G h a t A i c d o t m i n ( h o i c d o t h a t A i , ; m a t h r m c l i p ( h o i , 1 − e p s i l o n , 1 + e p s i l o n ) c d o t h a t A i ) ] mathcal{L}_{mathrm{GRPO}} = -mathbb{E}_{q sim mathcal{D}, {o_i} sim pi_{ heta_{mathrm{old}}}} [ sum_{i=1}^{G} hat{A}_i cdot min( ho_i cdot hat{A}_i, ; mathrm{clip}( ho_i, 1-epsilon, 1+epsilon) cdot hat{A}_i ) ]mathcalLmathrmGRPO=−mathbbEqsimmathcalD,oi
- GRPO 的核心创新：用组内比较替代价值模型