高级应用场景：使用 Cosmos-H-Surgical-Simulator 进行手术机器人策略训练与评估

高级应用场景：使用 Cosmos-H-Surgical-Simulator 进行手术机器人策略训练与评估

【免费下载链接】Cosmos-H-Surgical-Simulator项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-H-Surgical-Simulator

Cosmos-H-Surgical-Simulator 是一款基于运动学动作条件的手术世界基础模型，专为手术机器人策略的训练与评估打造。它构建在公开的 NVIDIA Cosmos-Predict2.5-2B 物理 AI 模型之上，并在 Open-H 多 embodiment 手术基准上进行了微调。与文本条件的基础模型不同，它直接由机器人运动学驱动，能够根据手术场景帧和一系列编码末端执行器姿态及 gripper 命令的 44 维动作向量，生成手术场景的未来视频，为手术机器人策略的开发提供了强大的模拟工具。

为何选择 Cosmos-H-Surgical-Simulator 进行策略训练与评估

精准的手术场景模拟能力

Cosmos-H-Surgical-Simulator 采用扩散 Transformer 架构，具体为潜在视频扩散 Transformer（DiT 风格去噪器），带有交叉注意力条件。它在 Cosmos-Predict2.5-2B-Video2World 模型的基础上进行了扩展，加入了一个 MLP 来根据运动学动作对模型进行条件设定。该模型接受 44 维动作向量（每臂 22 维）以及当前视频帧作为输入，能够预测后续的 12 帧画面。通过自回归展开，它可以从学习到的策略或手动设计的动作序列生成完整的手术轨迹视频，高度还原真实的手术场景，为策略训练提供了接近真实的模拟环境。

丰富的手术任务覆盖范围

该模型涵盖了 CMR Surgical Versius 临床手术（胆囊切除术、前列腺切除术、腹股沟疝修补术、子宫切除术）以及 dVRK、MITIC 和其他手术平台的多种任务，如缝合、组织操作和 peg 转移等。这意味着研究人员和开发者可以在多种手术场景下对机器人策略进行训练和评估，提高策略的通用性和适应性。

可靠的性能指标支持

在 4 种 CMR Versius 临床手术（前列腺切除术、腹股沟疝修补术、子宫切除术、胆囊切除术）上进行了评估，采用 360p 分辨率，每个手术 2 个情节，每个情节 2 个种子，进行 72 帧自回归生成（6 个块 × 12 帧）。当前的检查点（12k-v2，修复后）在各项指标上都有出色表现，FDS（L1）为 0.184，相比之前的版本降低了 17%；GATC 为 0.472，提升了 13%；TCD（px）为 67.03，降低了 20%。这些指标为策略的评估提供了可靠的量化依据，帮助开发者准确了解策略的性能表现。

手术机器人策略训练的关键步骤

准备训练数据

训练数据来源于 Open-H-Embodiment 社区生成的数据集，该数据集包含约 26,500+ 手术任务演示（加上 CMR Versius 临床手术），涵盖 32 个数据集、9 个机器人 embodiment 和 10+ 机构，总计约 490 万同步的视频 - 运动学帧。数据集按约 95% 用于训练和验证，5% 用于测试的比例进行划分。这些数据为策略训练提供了丰富的样本，确保训练出的策略具有良好的泛化能力。

配置模型参数

模型的输入类型包括图像（相机帧）和一系列 12 个 44 维数值向量，输入格式为 RGB 帧和数值向量。输入参数方面，图像为二维图像帧，向量为 12 个 44 维向量序列。模型推荐的分辨率为 512x288，输入帧会自动调整大小，建议采用 16:9 的宽高比。在进行训练前，需要根据具体的训练任务和数据特点，对这些参数进行合理配置，以确保模型能够有效地学习。

执行训练过程

训练过程中，模型利用准备好的训练数据，通过不断调整参数来优化策略。借助于 PyTorch 和 Transformer Engine 等加速引擎，以及 NVIDIA Ampere、Blackwell、Hopper 等支持的硬件微架构，模型能够实现高效的训练。需要注意的是，只有 BF16 精度经过测试，其他精度如 FP16 或 FP32 未得到官方支持，在训练时应选择合适的精度设置。

手术机器人策略评估的实用方法

选择评估指标

评估指标是衡量策略性能的重要标准，Cosmos-H-Surgical-Simulator 提供了多种实用的评估指标。FDS（L1）是帧衰减分数，指生成帧与真实帧之间的平均 L1 距离，归一化到 [-1, 1]，在所有生成帧上取平均值，数值越低越好；GATC 是真实锚定工具一致性，指生成帧和真实帧中 SAM3 分割工具区域内灰度像素的中值零均值归一化互相关（ZNCC），通过基于梯度的工具存在惩罚进行加权，数值越高越好；TCD 是工具质心距离，指生成帧和真实帧中匈牙利匹配的工具实例质心之间的每帧平均欧氏距离（以像素为单位），对未匹配的工具采用半对角线惩罚，数值越低越好。

开展评估实验

在进行评估时，可选择特定的手术程序，如前列腺切除术、腹股沟疝修补术等，按照一定的实验设置，如每个手术 2 个情节、每个情节 2 个种子等，使用模型生成相应的手术轨迹视频。然后，根据选择的评估指标，对生成的视频进行量化分析，得到策略在该手术程序上的性能数据。通过对比不同策略在各项指标上的表现，可以评估策略的优劣。

分析评估结果

对评估得到的数据进行深入分析，了解策略在不同手术任务和场景下的表现特点。例如，查看在 Hysterectomy 手术中，策略的 FDS（L1）为 0.121，GATC 为 0.737，TCD（px）为 12.7，表现较为出色；而在 Inguinal Hernia 手术中，FDS（L1）为 0.199，GATC 为 0.429，TCD（px）为 143.2，可能存在需要改进的地方。根据分析结果，有针对性地对策略进行调整和优化，提高其整体性能。

实际应用案例分享

临床手术机器人策略优化

某研究团队利用 Cosmos-H-Surgical-Simulator 对 CMR Surgical Versius 机器人的临床手术策略进行优化。通过在模拟环境中对胆囊切除术等手术进行大量的策略训练和评估，不断调整策略参数，使机器人在手术过程中的动作更加精准、稳定，减少了手术风险，提高了手术成功率。

新型手术机器人算法测试

一家 surgical robotics 公司开发了一种新型的手术机器人控制算法，为了验证其有效性和安全性，他们使用 Cosmos-H-Surgical-Simulator 进行了全面的测试。在模拟环境中，该算法成功完成了多种手术任务的模拟操作，各项评估指标均达到了预期要求，为算法的实际应用奠定了坚实的基础。

总结与展望

Cosmos-H-Surgical-Simulator 为手术机器人策略的训练与评估提供了强大而可靠的工具。其精准的场景模拟、丰富的任务覆盖和可靠的性能指标，使得开发者能够更加高效地进行策略开发和优化。随着技术的不断发展，相信该模型将在手术机器人领域发挥越来越重要的作用，推动手术机器人技术的不断进步，为医疗健康事业做出更大的贡献。

如需使用该模型，可通过以下命令克隆仓库：git clone https://gitcode.com/hf_mirrors/nvidia/Cosmos-H-Surgical-Simulator。更多详细信息可参考相关文档，如模型架构可参考 README.md 中的描述。在使用过程中，还需遵守 NVIDIA Open Model License Agreement 中的相关规定。

【免费下载链接】Cosmos-H-Surgical-Simulator项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-H-Surgical-Simulator