如何快速上手Bench2Drive：自动驾驶数据集的完整使用指南

如何快速上手Bench2Drive：自动驾驶数据集的完整使用指南

【免费下载链接】Bench2Drive[NeurIPS 2024 Datasets and Benchmarks Track] Closed-Loop E2E-AD Benchmark Enhanced by World Model RL Expert项目地址: https://gitcode.com/gh_mirrors/ben/Bench2Drive

Bench2Drive是一个基于CARLA仿真平台构建的端到端自动驾驶数据集，专为研究社区提供大规模、多样化的训练和评估资源。🚗 这个数据集由强大的世界模型RL专家Think2Drive生成，包含超过13,000个驾驶场景，支持从基础研究到工业级应用的不同需求。本文将为你提供从零开始使用Bench2Drive的完整指南，帮助你在自动驾驶研究中快速上手。

为什么选择Bench2Drive？🤔

在自动驾驶研究领域，高质量的数据集是算法验证和性能提升的关键。Bench2Drive相比其他数据集有以下独特优势：

• 闭环评估能力：支持端到端自动驾驶模型的真实世界测试
• 多维度能力评估：不仅评估基本驾驶技能，还包括变道、超车、紧急制动等高级能力
• 大规模数据：提供从10个样本到13,638个样本的不同规模数据集，适应不同计算资源
• 丰富传感器数据：包含6个RGB摄像头、激光雷达、雷达等多种传感器信息
• 精确标注：详细的3D边界框、交通参与者状态、高精地图信息

Bench2Drive框架概览：包含强专家生成、准真实场景闭环评估和多维度能力评估三个核心组件

5分钟快速开始指南 ⚡

1. 环境准备

首先，你需要设置CARLA仿真环境和Python依赖：

# 克隆Bench2Drive仓库 git clone https://gitcode.com/gh_mirrors/ben/Bench2Drive cd Bench2Drive # 下载并设置CARLA 0.9.15 mkdir carla cd carla wget https://carla-releases.s3.us-east-005.backblazeb2.com/Linux/CARLA_0.9.15.tar.gz tar -xvf CARLA_0.9.15.tar.gz cd Import && wget https://carla-releases.s3.us-east-005.backblazeb2.com/Linux/AdditionalMaps_0.9.15.tar.gz cd .. && bash ImportAssets.sh

2. 数据下载

Bench2Drive提供三个不同规模的数据集：

使用以下命令下载Base数据集：

huggingface-cli download --repo-type dataset --resume-download rethinklab/Bench2Drive --local-dir Bench2Drive-Base

3. 快速可视化

查看数据标注的直观方式：

cd tools python visualize.py -f Town13_723 -m maps/Town13_lanemarkings.npz

数据结构深度解析 📊

数据组织架构

Bench2Drive采用层次化目录结构：

场景名称/ ├── Town_天气_路线/ │ ├── anno/ - 标注信息(GZIP压缩的JSON) │ ├── camera/ - 多视角相机数据 │ │ ├── depth_*/ - 深度图 │ │ ├── instance_*/ - 实例分割图 │ │ ├── rgb_*/ - RGB图像(JPG格式) │ │ └── semantic_*/ - 语义分割图 │ ├── expert_assessment/ - 专家评估数据 │ ├── lidar/ - 激光雷达数据(laszip压缩) │ └── radar/ - 雷达数据(HDF5格式)

标注文件详解

每个标注文件(anno/00000.json.gz)包含以下核心信息：

1. 自车状态：位置、速度、控制信号（油门、转向、刹车）
2. 传感器配置：6个相机的内外参数、激光雷达和雷达的坐标系转换矩阵
3. 交通参与者：车辆、行人、交通灯、交通标志的3D边界框和状态信息
4. 导航信息：近/远路径点坐标及对应驾驶指令

高精地图数据

高精地图以npz格式存储，包含：

• 车道中心线点集和拓扑连接关系
• 车道线类型（实线、虚线）和颜色
• 交通灯和停止标志的触发区域
• 道路属性和路口信息

Bench2Drive基准测试结果：展示不同端到端自动驾驶方法在闭环评估和多维度能力评估中的表现

常见问题与解决方案 🛠️

1. CARLA API已知问题

• 行人速度值为0：需要根据位置变化自行计算
• 速度传感器返回None：建议将所有None值设置为0
• 地面停止标志无边界框：标注文件中记录了其触发体积
• 静态车辆旋转和位置错误：建议仅使用center和extent属性获取局部3D边界框

2. 坐标系转换注意事项

数据可能存储在不同坐标系中：

• 世界坐标系（World）
• 自车坐标系（Ego）
• 激光雷达坐标系（LiDAR）
• 罗盘坐标系（Compass）

重要提示：触发体积的旋转是相对于父物体的，需要加上父物体的旋转才能得到全局旋转。

3. 图像处理建议

由于JPG是有损压缩（质量20），在推理时需要对图像进行相同压缩处理，以避免训练-推理差异。

高级使用技巧 🚀

1. 自定义代理集成

将你的自动驾驶模型集成到Bench2Drive评估框架：

Bench2Drive/ ├── leaderboard/ │ └── team_code/ │ └── your_agent.py # 在这里添加你的代理 └── your_model_folder/ # 链接你的模型文件夹

2. 多GPU并行评估

利用多GPU加速评估过程：

# 设置任务数和GPU列表 export TASK_NUM=4 export GPU_RANK_LIST="0,1,2,3" bash leaderboard/scripts/run_evaluation_multi_uniad.sh

3. 指标计算与分析

Bench2Drive提供全面的评估指标：

# 合并评估结果并计算驾驶分数和成功率 python tools/merge_route_json.py -f your_json_folder/ # 获取多维度能力评估结果 python tools/ability_benchmark.py -r merge.json # 获取驾驶效率和驾驶平滑度结果 python tools/efficiency_smoothness_benchmark.py -f merge.json -m your_metric_folder/

CARLA仿真环境中的场景运行器界面，显示车辆状态、传感器数据和环境信息

性能优化建议 ⚡

1. 数据处理优化

• 批量处理：利用数据集的层次化结构进行批量加载
• 内存管理：使用流式处理大型数据集，避免一次性加载所有数据
• 缓存机制：对频繁访问的标注信息建立本地缓存

2. 评估流程优化

• 增量评估：支持断点续评，避免因CARLA崩溃导致重复计算
• 资源监控：实时监控GPU内存和CPU使用率，避免资源竞争
• 日志管理：定期清理评估日志，释放磁盘空间

3. CARLA稳定性优化

使用提供的清理脚本保持CARLA稳定运行：

# 定期清理CARLA进程 bash tools/clean_carla.sh

最佳实践总结 📝

1. 从Mini数据集开始：先用10个场景验证你的算法，再扩展到更大数据集
2. 注意坐标系转换：始终明确当前数据所在的坐标系
3. 利用可视化工具：使用tools/visualize.py理解数据结构和标注信息
4. 关注评估指标：不仅看驾驶分数，还要分析多维度能力表现
5. 参与社区讨论：关注GitHub Issues获取最新修复和优化建议

距离随时间变化曲线：展示自车与障碍物之间的距离动态变化，用于安全评估

Bench2Drive为自动驾驶研究提供了强大的数据支持和评估框架。通过本文的指南，你可以快速上手并充分利用这一资源。无论是学术研究还是工业应用，Bench2Drive都能为你的自动驾驶算法提供全面的测试和验证环境。

立即开始你的自动驾驶研究之旅吧！🚀

提示：更多技术细节和最新更新，请参考项目文档和GitHub仓库。

【免费下载链接】Bench2Drive[NeurIPS 2024 Datasets and Benchmarks Track] Closed-Loop E2E-AD Benchmark Enhanced by World Model RL Expert项目地址: https://gitcode.com/gh_mirrors/ben/Bench2Drive