近日，上海交通大学、百度智能云、地瓜机器人（D-Robotics）等机构联合发布 dVLA-RL 强化学习训练框架，首次打通经典 PPO 算法与「离散扩散 VLA」（Discrete Diffusion Vision-Language-Action，dVLA）的适配通路。
该方案让离散扩散 VLA 摆脱仅能复刻人类示范的局限，可依托强化学习自主交互迭代优化，真正完成从「模仿人类动作」到「持续自主进化」的技术跨越。
论文地址：https://arxiv.org/abs/2606.23623
1. 性能验证：单臂、双臂基准全面大幅提升
dVLA-RL 在两项主流机器人仿真基准上均取得了显著成绩。在 LIBERO Benchmark 上，dVLA-RL 的平均任务成功率达到 99.7%；在 RoboTwin 2.0 基准测试中，模型成功率从 SFT 阶段的 61.4% 提升至 92.0%，绝对提升 30.6 个百分点。
本篇 dVLA-RL 论文的全部实验均基于百度百舸 AI 计算平台完成。其中，百度百舸团队针对 RLinf 进行的 AI Infra 工程优化，大幅度提升了 dVLA 模型在强化学习阶段的训练效果。
2. 从模仿到自主进化：SFT 与 RL 的两步进阶
对于机器人 Foundation Model 而言，监督微调（SFT）是构建基础能力的关键阶段。通过学习大量人类示范数据，模型能够快速掌握抓取、搬运等基础技能。但模仿学习终究只能复现已有经验，当面对训练数据之外的新场景和复杂任务时，模型能力容易达到瓶颈。
强化学习（RL）则通过自主交互、持续试错和奖励反馈，不断优化策略，使机器人能够持续突破 SFT 的能力上限，在未知场景和复杂长时序任务中获得更好的表现。
当前自回归、连续流类 VLA 均拥有成熟的 RL 适配方案，而离散扩散 VLA 一直缺少可行的强化学习路径。
3. 离散扩散 VLA 的优势：扩散机制带来更精细的动作控制
和传统单次生成式 VLA 不同，离散扩散 VLA 依托掩码多轮去噪扩散机制生成动作，统一融合图像、语言、机器人动作三类离散表征。
得益于多轮去噪生成机制，dVLA 能够生成更加平滑连贯的动作轨迹，在双臂协同、多步骤长时序操作、精细柔性操控等复杂任务中展现出更大的应用潜力，也被认为是机器人 Foundation Model 值得关注的重要技术路线之一。
因此，如何为 dVLA 建立完整的强化学习能力，也成为机器人 Foundation Model 发展的关键课题。
4. 核心瓶颈：离散扩散 VLA 生成过程难以直接适配 PPO
然而，也正因为 离散扩散 VLA 采用离散扩散逐步生成动作，而非像传统 VLA 那样一次性预测动作，经典 PPO 无法直接对其整个生成过程进行策略优化。原因在于，dVLA 的最终动作需要经过多轮中间去噪状态逐步生成，而 PPO 只能针对单次动作概率进行梯度更新。若强行计算最终动作的概率，则需要穷举海量中间去噪路径，计算复杂度呈指数增长，在工程上几乎不可实现。
5. dVLA-RL：重新定义优化对象，打通强化学习通路
针对这一核心矛盾，论文提出了 dVLA-RL。其核心思路并不是修改 PPO，而是重新定义 PPO 的优化对象。
dVLA-RL 将整个去噪过程视为一条完整的决策轨迹，使强化学习优化的目标从最终动作扩展到整个动作生成过程，从而让经典 PPO 算法得以直接用于离散扩散 VLA。
相比直接优化最终动作，这种方式更符合离散扩散 VLA 的生成机制，为这一技术路线建立起一套贴合模型生成逻辑的强化学习训练体系。
6. Hybrid Denoising Steps：动态分配去噪步数，兼顾性能与效率
在打通 dVLA 强化学习通路的基础上，论文进一步提出配套优化方案Hybrid Denoising Steps。得益于 dVLA-RL 能够在统一的强化学习框架下优化不同长度的去噪轨迹，该方案可根据任务复杂度以及 SFT 阶段模型的初始表现，动态选择不同的去噪步数：抓取、简单放置等基础任务采用 1～2 步去噪，以降低推理延迟；双臂物体交接、长流程搬运等复杂任务则保留 4 步完整去噪，以保证动作生成质量和任务成功率。
论文进一步在 RoboTwin 2.0 的 8 个代表性双臂任务上，对统一采用 1、2、4 步去噪以及 Hybrid 去噪策略进行了对比。实验结果显示，在不降低任务成功率的前提下，Hybrid Denoising Steps 将平均推理延迟由 728.92 ms 降低至 387.24 ms，强化学习训练耗时由 845.95 秒缩短至 607.89 秒，验证了按任务动态分配去噪步数能够兼顾模型性能与运行效率。
7. 走向持续自主进化：dVLA-RL 的更大意义
从行业长远发展视角来看，dVLA-RL 的价值远不止于将 RoboTwin 2.0 基准测试成功率提升至 92.0%。更为关键的是，它首次让离散扩散 VLA 具备了强化学习能力，打通了从预训练、监督微调到强化学习的完整技术链路，为机器人 Foundation Model 持续自主进化奠定了技术基础。