HANDOFF：基于蒸馏互补教师的人形机器人任务空间整体控制

HANDOFF：基于蒸馏互补教师的人形机器人任务空间整体控制

论文来源: arXiv:2606.06493 |主题: 人形机器人控制、强化学习、知识蒸馏、多智能体系统、任务空间控制

📌 摘要与核心贡献

传统整体控制器（WBC）需要密集的全身运动学参考，而规划器难以从高层任务语义中合成这些参考。

本文提出HANDOFF，一种紧凑且显式的10-维任务空间接口，具有直观、通用、模块化且能表达全身控制的特点。该方法通过多教师 KL 蒸馏在上下文条件门控方案下进行蒸馏，并蒸馏为混合专家 (MoE) 学生模型。

核心贡献：

1. 10-维任务空间接口：提供一个紧凑的接口，直接映射到规划器家族（如步态栈、抓取规划器、 squat/reach 启发式），无需针对特定方法进行重定向或控制器微调。
2. 多教师蒸馏与 MoE：结合运动跟踪、步态和跌倒恢复三个教师模型，通过软 MoE 路由避免双峰伪影。
3. 硬件验证：在 Unitree G1 人形机器人上验证，实现了目前最大规模的稳健操纵工作空间 (97.7%) 并支持自然语言驱动的任务执行。

1. 核心机制与架构

1.1 10-维任务空间接口

规划器输出的紧凑命令向量c t c_tct​如下：
c t = [ v x , v y , ω z , z , p L P , p R P ] c_t = [v_x, v_y, \omega_z, z, p_{LP}, p_{RP}]ct​=[vx​,vy​,ωz​,z,pLP​,pRP​]

• v x , v y , ω z v_x, v_y, \omega_zvx​,vy​,ωz​: 平面基座速度命令
• z zz: 命令的根部高度
• p L P , p R P p_{LP}, p_{RP}pLP​,pRP​: 双侧骨盆框架手腕目标

优势：该接口直观且支持全身表达，避免了传统方法中复杂的关节空间映射。

1.2 蒸馏管道与架构

• 上下文条件门控：利用 regime 信号对监督进行路由：
  x t = ( ∥ c t v e l ∥ , r e c o v e r t ) \mathbf{x}_t = (\|c_t^{\mathrm{vel}}\|, \mathrm{recover}_t)xt​=(∥ctvel​∥,recovert​)
• 软 MoE 路由：通过连续凸混合避免双峰伪影，身体切片通过连续凸混合进行监督：
  α = σ ( ∥ c t v e l ∥ − 0.1 0.02 ) \alpha = \sigma\left(\frac{\|c_t^{\mathrm{vel}}\| - 0.1}{0.02}\right)α=σ(0.02∥ctvel​∥−0.1​)

2. 损失函数与优化目标

整体损失函数由以下部分组成：
L = L P P O + λ B L K L B + λ A L K L A + λ A M P L K L A M P + β L B L L B + β R L R \mathcal{L} = \mathcal{L}_{\mathrm{PPO}} + \lambda_B \mathcal{L}_{\mathrm{KL}}^B + \lambda_A \mathcal{L}_{\mathrm{KL}}^A + \lambda_{\mathrm{AMP}} \mathcal{L}_{\mathrm{KL}^{\mathrm{AMP}}} + \beta_{\mathrm{LB}} \mathcal{L}_{\mathrm{LB}} + \beta_{\mathrm{R}} \mathcal{L}_{\mathrm{R}}L=LPPO​+λB​LKLB​+λA​LKLA​+λAMP​LKLAMP​+βLB​LLB​+βR​LR​

• 稳定性奖励：包括支撑多边形内的 CoM、支撑多边形内的捕获点、踝/髋/步层级以及角/线性动量惩罚。
• 上下文条件身体切片 KL：
  L K L B = ( 1 − α ) D K L ( π θ B ∥ π w b c B ) + α D K L ( π θ B ∥ π l o c o B ) \mathcal{L}_{\mathrm{KL}}^B = (1-\alpha) D_{\mathrm{KL}}(\pi_\theta^B \| \pi_{\mathrm{wbc}}^B) + \alpha D_{\mathrm{KL}}(\pi_\theta^B \| \pi_{\mathrm{loco}}^B)LKLB​=(1−α)DKL​(πθB​∥πwbcB​)+αDKL​(πθB​∥πlocoB​)

3. 实验结果与评估

3.1 性能指标

• 工作空间体积:h u l l _ v o l × f e a s i b l e _ f r a c hull\_vol \times feasible\_frachull_vol×feasible_frac(限制在目标x ≥ 0 x \ge 0x≥0的前半空间)
• 稳健工作空间: 达到0.31m 3 m^3m3（目前评估的最大规模）
• 速度跟踪误差:
  • ∣ Δ v x ∣ ≈ 0.06 − 0.07 |\Delta v_x| \approx 0.06 - 0.07∣Δvx​∣≈0.06−0.07
  • ∣ Δ v y ∣ ≈ 0.14 − 0.18 |\Delta v_y| \approx 0.14 - 0.18∣Δvy​∣≈0.14−0.18
  • ∣ Δ ω z ∣ ≈ 0.04 − 0.06 |\Delta \omega_z| \approx 0.04 - 0.06∣Δωz​∣≈0.04−0.06
• 可行性率 (Feasibility Rate): 高达97.7%

3.2 对比实验

在稳健操纵工作空间方面，HANDOFF 优于基线（FALCON, OpenHomie, AMO, SONIC），同时在速度跟踪方面保持竞争力。

4. 硬件部署与堆栈

• 平台: Unitree G1 (29 DoF) 配备 Dex1-1 机械爪、ZED-M 立体 RGB-D 相机及 Jetson Thor 计算平台。
• 供电: 通过单个 140W USB-PD 移动电源完全免 tether。
• Agent 规划器堆栈:
  • 高级推理器将自然语言分解为原子任务（正则/LLM 回退）
  • VLM 将 2D 点/边界框投影到 RGB-D 点云 → 骨盆框架航点
  • 技能选择器生成动作指令

5. 局限性与未来方向

• 手腕位置目标: 暴露的是 3-D 骨盆框架位置，而非完整的 6-D 夹爪姿态（需要运行时运动学纠正）。
• 感知受限: 单固定姿态头部安装的 RGB-D 相机限制视场；未来工作将探索 gimbaled 头部/腕部相机。
• 专家覆盖范围: 教师集合虽广泛但不完整；未来将增加地形、接触和重负载专家。
• 可扩展性: 新专家可作为一个新的教师头加一个上下文通道插入，无需更改现有教师或接口。