EmbodiedScan数据准备完全指南ScanNet/3RScan/Matterport3D/ARKitScenes一站式整合【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScanEmbodiedScan数据准备是上手这套多模态3D感知套件的必经之路。作为CVPR 2024与NeurIPS 2024收录的开源项目EmbodiedScan汇聚了ScanNet、3RScan、Matterport3D、ARKitScenes四大主流室内数据集构建出包含5k扫描、100万自中心RGB-D视图、100万语言提示与160k三维框的完整基准。本文将从零开始手把手带你完成四大原始数据的下载、目录组织、图像提取与标注整合一次搞定全部预处理流程。认识EmbodiedScan面向具身智能的多模态3D感知套件EmbodiedScan不仅是一个数据集更是一套完整的3D感知工具链。它囊括了三维目标检测、连续三维检测、多视角三维视觉定位Visual Grounding与占用率预测Occupancy Prediction四大任务基线。其核心框架 Embodied Perceptron 能够处理任意数量的多模态输入将RGB-D序列与文本指令深度融合实现看得见、听得懂、找得着的具身智能感知能力其架构细节可参考 framework.png。由于四个原始数据集分属不同机构维护官方建议从各数据集官网下载原始数据再按照本指南统一组织到data目录下。完整的官方说明见 data/README.md。准备工作克隆仓库与环境安装在开始EmbodiedScan数据准备前先把代码仓库克隆到本地git clone https://gitcode.com/gh_mirrors/em/EmbodiedScan cd EmbodiedScan接着创建Python 3.8环境并安装PyTorch建议1.11.0 CUDA 11.3然后一键安装全部依赖python install.py all如果只需要运行或可视化功能可分别使用python install.py run或python install.py visual按需安装。安装Mink Engine与PyTorch3D时耗时较长属正常现象请耐心等待。第一步ScanNet v2数据下载与目录组织ScanNet是EmbodiedScan最主要的原始数据来源之一。请从ScanNet官方渠道获取v2版数据并将其链接或移动到data/scannet/scans目录下目录结构如下data/scannet/scans/scene_id每个场景目录中应包含该场景的.sens文件内含全部RGB-D帧、相机位姿与内参。后续提取图像时generate_image_scannet.py 会逐场景解析.sens并导出jpg彩色图、png深度图与位姿文件。第二步3RScan数据下载与目录组织3RScan提供了多时间戳变化的室内场景扫描是EmbodiedScan覆盖动态环境能力的关键数据。下载后将场景目录放入data/3rscan/下data/3rscan/scene_id每个场景目录内含一个sequence.zip压缩包里面是该场景的完整RGB-D图像序列。解压工作同样由官方转换脚本自动完成见下文一键图像提取部分。第三步Matterport3D数据下载与目录组织Matterport3D提供了高分辨率全景RGB-D数据。下载后将其链接或移动到data/matterport3d/目录data/matterport3d/scene_idMatterport3D数据无需额外解压或转换组织好目录结构即可EmbodiedScan的标注与info文件会直接引用对应场景。第四步ARKitScenes数据下载与目录组织ARKitScenes是Apple发布的大规模室内RGB-D数据集也是EmbodiedScan v2扩展新增的约5k扫描的来源。下载后将数据放入data/arkitscenes/目录注意区分训练与验证子集data/arkitscenes/Training/scene_id data/arkitscenes/Validation/scene_idARKitScenes同样无需额外转换组织好目录结构即可完成接入。第五步申请EmbodiedScan官方标注文件原始数据就绪后还需要EmbodiedScan官方标注。目前需要填写申请表官方会在README与 data/README.md 中说明申请渠道收到下载链接后将数据解压到data/目录。关键文件包括embodiedscan_infos_train.pkl/embodiedscan_infos_val.pkl/embodiedscan_infos_test.pkl三维检测任务的样本索引embodiedscan_train_vg.json/embodiedscan_val_vg.json/embodiedscan_test_vg.json视觉定位任务的语言标注embodiedscan_train_mini_vg.json等mini版本与含复杂提示词的*_all.json版本embodiedscan_occupancy/占用率预测任务的稠密语义标注一键图像提取ScanNet与3RScan转换脚本原始数据与标注就位后还需把ScanNet的.sens文件与3RScan的sequence.zip解压成可直接读取的图像序列。进入项目根目录执行python embodiedscan/converter/generate_image_scannet.py --dataset_folder data/scannet/ python embodiedscan/converter/generate_image_3rscan.py --dataset_folder data/3rscan/⚠️ 注意ScanNet的.sens提取非常耗时需遍历全部RGB-D帧。如果仅需EmbodiedScan用到的图像可加上--fast参数跳过采样帧速度提升约10倍python embodiedscan/converter/generate_image_scannet.py --dataset_folder data/scannet/ --fast执行完成后ScanNet的posed_images/scene_id目录下会出现*.jpg彩色图、*.png深度图、位姿*.txt与intrinsic.txt内参文件3RScan的每个场景下会出现解压后的sequence/目录含*.color.jpg与*.depth.pgm。占用率标注提取occupancy数据整合最后将下载的占用率标注按场景归档到各数据集目录下方便模型按场景读取稠密语义标签python embodiedscan/converter/extract_occupancy_ann.py --src data/embodiedscan_occupancy --dst data该脚本extract_occupancy_ann.py会自动识别scannet等数据集的结构差异将occupancy子目录复制到对应场景下已存在的文件会跳过可放心重复执行。数据准备检查清单最终目录结构一览全部完成后的data目录应呈现如下结构data ├── scannet/scans/scene_id 及 posed_images/scene_id ├── 3rscan/scene_id含解压后的 sequence/ ├── matterport3d/scene_id ├── arkitscenes/Training 与 Validation/scene_id ├── embodiedscan_occupancy/ ├── embodiedscan_infos_train.pkl / _val.pkl / _test.pkl ├── embodiedscan_train_vg.json / _val_vg.json / _test_vg.json └── embodiedscan_train_mini_vg.json / _val_mini_vg.json逐一核对无误后即可参照 tools/train.py 与 configs/detection/mv-det3d_8xb4_embodiedscan-3d-284class-9dof.py 开始训练你的第一个多视角3D检测模型或在 embodiedscan/tutorial.ipynb 中体验数据可视化。常见问题与避坑建议ScanNet提取太慢务必使用--fast参数只导出训练与验证需要的帧。目录结构不匹配标注的pkl文件会按固定路径查找场景四大数据集的目录名务必与本文结构完全一致。Matterport3D与ARKitScenes无需转换不要对它们运行转换脚本只需保证目录就位。重复执行转换脚本脚本不会覆盖已有文件可安全重跑补齐缺失场景。申请标注未通过标注文件仅供研究用途请按官方要求填写申请表单并耐心等待邮件回复。至此你的EmbodiedScan数据准备已全部完成四大数据集加官方标注的整合虽然步骤较多但只要按照本指南逐步执行就能顺利跑通数据链路快速进入多模态3D感知的模型训练与评测阶段。祝你在EmbodiedScan上玩得开心【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 EmbodiedScan数据准备完全指南：ScanNet/3RScan/Matterport3D/ARKitScenes一站式整合
EmbodiedScan数据准备完全指南ScanNet/3RScan/Matterport3D/ARKitScenes一站式整合【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScanEmbodiedScan数据准备是上手这套多模态3D感知套件的必经之路。作为CVPR 2024与NeurIPS 2024收录的开源项目EmbodiedScan汇聚了ScanNet、3RScan、Matterport3D、ARKitScenes四大主流室内数据集构建出包含5k扫描、100万自中心RGB-D视图、100万语言提示与160k三维框的完整基准。本文将从零开始手把手带你完成四大原始数据的下载、目录组织、图像提取与标注整合一次搞定全部预处理流程。认识EmbodiedScan面向具身智能的多模态3D感知套件EmbodiedScan不仅是一个数据集更是一套完整的3D感知工具链。它囊括了三维目标检测、连续三维检测、多视角三维视觉定位Visual Grounding与占用率预测Occupancy Prediction四大任务基线。其核心框架 Embodied Perceptron 能够处理任意数量的多模态输入将RGB-D序列与文本指令深度融合实现看得见、听得懂、找得着的具身智能感知能力其架构细节可参考 framework.png。由于四个原始数据集分属不同机构维护官方建议从各数据集官网下载原始数据再按照本指南统一组织到data目录下。完整的官方说明见 data/README.md。准备工作克隆仓库与环境安装在开始EmbodiedScan数据准备前先把代码仓库克隆到本地git clone https://gitcode.com/gh_mirrors/em/EmbodiedScan cd EmbodiedScan接着创建Python 3.8环境并安装PyTorch建议1.11.0 CUDA 11.3然后一键安装全部依赖python install.py all如果只需要运行或可视化功能可分别使用python install.py run或python install.py visual按需安装。安装Mink Engine与PyTorch3D时耗时较长属正常现象请耐心等待。第一步ScanNet v2数据下载与目录组织ScanNet是EmbodiedScan最主要的原始数据来源之一。请从ScanNet官方渠道获取v2版数据并将其链接或移动到data/scannet/scans目录下目录结构如下data/scannet/scans/scene_id每个场景目录中应包含该场景的.sens文件内含全部RGB-D帧、相机位姿与内参。后续提取图像时generate_image_scannet.py 会逐场景解析.sens并导出jpg彩色图、png深度图与位姿文件。第二步3RScan数据下载与目录组织3RScan提供了多时间戳变化的室内场景扫描是EmbodiedScan覆盖动态环境能力的关键数据。下载后将场景目录放入data/3rscan/下data/3rscan/scene_id每个场景目录内含一个sequence.zip压缩包里面是该场景的完整RGB-D图像序列。解压工作同样由官方转换脚本自动完成见下文一键图像提取部分。第三步Matterport3D数据下载与目录组织Matterport3D提供了高分辨率全景RGB-D数据。下载后将其链接或移动到data/matterport3d/目录data/matterport3d/scene_idMatterport3D数据无需额外解压或转换组织好目录结构即可EmbodiedScan的标注与info文件会直接引用对应场景。第四步ARKitScenes数据下载与目录组织ARKitScenes是Apple发布的大规模室内RGB-D数据集也是EmbodiedScan v2扩展新增的约5k扫描的来源。下载后将数据放入data/arkitscenes/目录注意区分训练与验证子集data/arkitscenes/Training/scene_id data/arkitscenes/Validation/scene_idARKitScenes同样无需额外转换组织好目录结构即可完成接入。第五步申请EmbodiedScan官方标注文件原始数据就绪后还需要EmbodiedScan官方标注。目前需要填写申请表官方会在README与 data/README.md 中说明申请渠道收到下载链接后将数据解压到data/目录。关键文件包括embodiedscan_infos_train.pkl/embodiedscan_infos_val.pkl/embodiedscan_infos_test.pkl三维检测任务的样本索引embodiedscan_train_vg.json/embodiedscan_val_vg.json/embodiedscan_test_vg.json视觉定位任务的语言标注embodiedscan_train_mini_vg.json等mini版本与含复杂提示词的*_all.json版本embodiedscan_occupancy/占用率预测任务的稠密语义标注一键图像提取ScanNet与3RScan转换脚本原始数据与标注就位后还需把ScanNet的.sens文件与3RScan的sequence.zip解压成可直接读取的图像序列。进入项目根目录执行python embodiedscan/converter/generate_image_scannet.py --dataset_folder data/scannet/ python embodiedscan/converter/generate_image_3rscan.py --dataset_folder data/3rscan/⚠️ 注意ScanNet的.sens提取非常耗时需遍历全部RGB-D帧。如果仅需EmbodiedScan用到的图像可加上--fast参数跳过采样帧速度提升约10倍python embodiedscan/converter/generate_image_scannet.py --dataset_folder data/scannet/ --fast执行完成后ScanNet的posed_images/scene_id目录下会出现*.jpg彩色图、*.png深度图、位姿*.txt与intrinsic.txt内参文件3RScan的每个场景下会出现解压后的sequence/目录含*.color.jpg与*.depth.pgm。占用率标注提取occupancy数据整合最后将下载的占用率标注按场景归档到各数据集目录下方便模型按场景读取稠密语义标签python embodiedscan/converter/extract_occupancy_ann.py --src data/embodiedscan_occupancy --dst data该脚本extract_occupancy_ann.py会自动识别scannet等数据集的结构差异将occupancy子目录复制到对应场景下已存在的文件会跳过可放心重复执行。数据准备检查清单最终目录结构一览全部完成后的data目录应呈现如下结构data ├── scannet/scans/scene_id 及 posed_images/scene_id ├── 3rscan/scene_id含解压后的 sequence/ ├── matterport3d/scene_id ├── arkitscenes/Training 与 Validation/scene_id ├── embodiedscan_occupancy/ ├── embodiedscan_infos_train.pkl / _val.pkl / _test.pkl ├── embodiedscan_train_vg.json / _val_vg.json / _test_vg.json └── embodiedscan_train_mini_vg.json / _val_mini_vg.json逐一核对无误后即可参照 tools/train.py 与 configs/detection/mv-det3d_8xb4_embodiedscan-3d-284class-9dof.py 开始训练你的第一个多视角3D检测模型或在 embodiedscan/tutorial.ipynb 中体验数据可视化。常见问题与避坑建议ScanNet提取太慢务必使用--fast参数只导出训练与验证需要的帧。目录结构不匹配标注的pkl文件会按固定路径查找场景四大数据集的目录名务必与本文结构完全一致。Matterport3D与ARKitScenes无需转换不要对它们运行转换脚本只需保证目录就位。重复执行转换脚本脚本不会覆盖已有文件可安全重跑补齐缺失场景。申请标注未通过标注文件仅供研究用途请按官方要求填写申请表单并耐心等待邮件回复。至此你的EmbodiedScan数据准备已全部完成四大数据集加官方标注的整合虽然步骤较多但只要按照本指南逐步执行就能顺利跑通数据链路快速进入多模态3D感知的模型训练与评测阶段。祝你在EmbodiedScan上玩得开心【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考