本文记录了在复现LingBot-VA在 RoboTwin 数据集上的 post-training 过程中遇到的六个典型问题。这些问题具有一定的通用性并非局限于特定机器环境希望能为后续研究者提供参考。1. 训练初始化 checkpoint 的选择训练初始化应当使用lingbot-va-basehttps://huggingface.co/robbyant/lingbot-va-base2. 训练数据格式并非原始 RoboTwin 数据若直接使用 RoboTwin 的原始数据集如包含原始视频和轨迹的目录训练流程将无法正常启动。LingBot-VA的 post-training 依赖于经过预处理的 LeRobot 格式数据具体包括meta/info.jsonLeRobot 元数据latents/目录预提取的潜在表示换言之训练不直接消费原始轨迹而是消费已经完成特征提取的数据产物。在开始训练前应确认数据目录中包含上述两项。若缺失则需要先完成数据预处理链路而非修改训练配置。3. Attention 机制的环境假设与兼容性问题训练代码中默认使用了flex attention但并非所有 PyTorch 版本都支持该特性。常见的现象是模型初始化时报flex attention is unavailable即使将attn_mode改为torch训练仍在第一步崩溃于FlexAttnFunc.init_mask()内部的and_masks/or_masks为None根本原因修改attn_mode仅影响模型构造阶段但训练前向逻辑中仍无条件执行了flex专属的 mask 初始化代码。兼容性处理方案在模型加载时若检测到HAS_FLEX_ATTENTION False则自动回退到attn_mode torch在训练前向中仅当attn_mode flex时才调用FlexAttnFunc.init_mask(...)torch分支应完全跳过该逻辑这样可以保证在不同 PyTorch 构建下训练均能正常进行。4. FSDP 在不同 PyTorch 版本下的行为差异在多卡训练例如双卡或更多时错误往往不在模型加载阶段出现而是在第一步反向传播或梯度同步时爆发。典型错误包括WanTransformer3DModel object has no attribute set_requires_gradient_sync部分模块如patch_embedding_mlp仍留在 CPU导致 device 不一致输入 tensor 为bfloat16而部分参数仍为float32引发 dtype 不匹配问题本质代码假设 FSDP 的 API 行为与作者环境完全一致并且根模块会被自动放置到正确的设备与数据类型上。实际环境中往往并非如此。通用解决方案梯度累积时若对象不支持set_requires_gradient_sync则回退使用self.transformer.no_sync()在执行 FSDP 分片之前显式地将整个模型移动到目标设备并转换为目标数据类型.to(devicedevice, dtypeparam_dtype)这一步对于避免 step 0 的各种隐晦错误至关重要。5. “能启动”不等于“跑通”真正的 smoke test 标准许多实践者将以下现象误判为训练已正常工作模型与数据集初始化成功日志打印Starting training for ...进度条开始显示然而对于LingBot-VA的训练链路最容易出错的位置恰好是第一步前向与反向计算。仅能启动程序并不代表训练能够稳定进行。建议的验证标准能够稳定完成step 0能够连续运行至少step 10而不再崩溃GPU 显存占用稳定loss 正常输出并下降只有满足上述条件才能认为训练环境已基本正确配置。6. Checkpoint 保存策略模型快照而非完整断点恢复仓库默认按固定步长间隔保存 checkpoint但保存的内容主要为transformer权重config.json不包括optimizer 状态scheduler 状态完整的 training state如当前 step、随机数状态等因此这些 checkpoint 更适合用于评测、推理、或作为新的初始化权重继续训练而不支持中断后无缝恢复训练。若需要支持断点续训使用者应自行扩展保存逻辑补全 optimizer、scheduler 及训练元信息。推荐的复现流程为避免早期被多卡问题卡住建议按以下顺序推进准备正确的base checkpoint准备符合 LeRobot latents 要求的训练数据单卡环境先行调试目标是通过 step 0 及前若干步单卡稳定后再切换到2 卡或多卡环境运行数千步后验证 checkpoint 保存与评测链路是否正常这一顺序有助于逐步隔离问题降低调试复杂度。总结复现LingBot-VA的 post-training 过程其主要难点不在于命令行的使用而在于训练代码中隐含的多项环境假设。本文归纳的三个核心要点如下训练初始化必须使用lingbot-va-base避免误用评测模型训练数据必须是经过预处理的LeRobot latents格式而非原始 RoboTwin 数据真正的兼容性问题大多暴露在step 0特别是 attention 与 FSDP 相关的环境差异提前理解并处理上述问题可显著降低复现成本。
