首页/资讯中心/详情

自动驾驶车辆检测实战：从YOLOv5原理到工程部署全解析

自动驾驶车辆检测实战：从YOLOv5原理到工程部署全解析
📅 发布时间：2026/6/19 3:31:55

1. 项目概述：为什么从车辆检测开始？

如果你正在接触自动驾驶，或者对深度学习如何“教会”汽车看世界感到好奇，那么“车辆检测”绝对是你绕不开的第一个实战项目。这不仅仅是识别图片里有没有车那么简单，它关乎整个感知系统的基石。想象一下，你坐在驾驶座上，第一要务就是看清周围有哪些车、它们在哪、离你多远。对于自动驾驶系统而言，这个“看清”的过程，就是通过摄像头、激光雷达等传感器采集数据，然后利用算法（尤其是深度学习）从中精准地框出每一辆车的边界，并判断其类别。这就是车辆检测的核心任务。

我之所以选择这个作为“自动驾驶深度学习”系列的第一篇，是因为它承上启下。向上，它连接着最基础的图像分类（“这是一辆车”）；向下，它开启了目标跟踪、轨迹预测、行为决策等一系列更复杂的任务。没有准确、快速的车辆检测，后续所有的高级功能都是空中楼阁。在实际项目中，一个检测模型的微小误报或漏报，都可能导致系统做出危险的判断。因此，理解并亲手实现一个可靠的车辆检测模型，是进入这个领域最扎实的一步。

市面上有很多现成的模型和代码，但直接“拿来就用”往往知其然不知其所以然。遇到问题不知道怎么调，换了场景效果就暴跌。这篇文章，我会带你从零开始，深入原理，并基于一个经典的深度学习框架（比如PyTorch）来搭建和训练一个车辆检测模型。我们会用到公开的数据集，讲解数据准备、模型选型、训练技巧和效果评估的全过程，并重点分享那些在官方教程里不会写的“踩坑”经验和调参心得。

2. 核心需求与场景拆解：车辆检测到底要解决什么问题？

在动手写代码之前，我们必须把问题定义清楚。车辆检测不是一个孤立的算法问题，它的设计必须紧密结合实际应用场景。

2.1 自动驾驶对车辆检测的核心要求

自动驾驶系统对车辆检测模块的要求可以概括为三个词：准、快、稳。

  1. 准确性（准）：这是最基本也是最重要的要求。它又细分为几个方面：

    • 高召回率（Recall）：宁可错杀，不可放过。对于前方突然切入的车辆、被部分遮挡的车辆，模型必须尽可能检测出来。漏检（False Negative）的后果远比误检（False Positive）严重。一次漏检可能直接导致碰撞。
    • 高精确率（Precision）：在保证召回率的同时，也要尽量减少误检。把路灯影子、桥墩阴影误认为车辆，会导致系统频繁进行不必要的刹车或转向，严重影响乘坐舒适性和通行效率。
    • 精准的定位（Localization）：检测框（Bounding Box）必须紧贴车辆边缘。框得太大会包含过多背景，影响后续距离估计；框得太小则会丢失车辆部分信息，不利于车型分类或跟踪。

  2. 实时性（快）：自动驾驶汽车在高速公路上以120km/h行驶时，每秒移动超过33米。检测模型必须在极短的时间内（通常是几十毫秒内）处理完一帧图像，为后续的规划与控制模块留出充足的时间。这意味着模型需要在计算资源受限的车载平台（如英伟达Drive系列芯片）上高效运行。

  3. 鲁棒性（稳）：模型必须在各种复杂、多变的环境下保持稳定性能。

    • 光照变化：清晨的逆光、夜间的昏暗、隧道口的明暗交替。
    • 天气影响：雨雪、雾霾对图像清晰度的干扰。
    • 遮挡与截断：车辆被其他车、树木、建筑物部分遮挡，或者只在图像边缘出现一半。
    • 车型尺度多变：从远处的小轿车到近处的大卡车，目标尺度差异巨大。

2.2 典型应用场景与数据特点

根据自动驾驶的不同功能域，车辆检测的需求侧重点也不同：

  • 前向碰撞预警（FCW）与自动紧急制动（AEB）：这是最核心的安全功能。它要求对正前方、同车道内的车辆检测具有极高的召回率和实时性。数据主要来自前视摄像头，关注中、近距离的车辆。
  • 自适应巡航（ACC）与交通拥堵辅助（TJA）：除了检测前方车辆，还需要对相邻车道的车辆有一定感知，用于切道决策。需要模型能稳定检测侧向车辆。
  • 盲区监测（BSD）与开门预警（DOW）：通常依靠侧后方的摄像头或雷达。检测目标主要是紧贴本车的侧后方车辆，对实时性要求高，但对距离较远的车辆不关心。
  • 全景环视（AVM）与自动泊车（APA）：使用鱼眼摄像头，图像畸变严重。车辆检测需要先进行图像校正，或者直接训练能适应鱼眼畸变的模型。

这些不同的场景，直接决定了我们准备训练数据时的侧重点。例如，做FCW模型，就应该在数据集中加强正前方、各种光照下的车辆样本；做BSD模型，则需要大量侧后方、近距离的车辆样本。

注意：在实际项目中，我们很少用一个“通用”的车辆检测模型去覆盖所有功能。更常见的做法是场景化定制，针对不同功能、不同位置的传感器，训练专有的检测模型，以达到最佳的性能平衡。

3. 技术选型：为什么是深度学习？为什么是单阶段检测器？

车辆检测的传统方法（如HOG+SVM、DPM）在复杂场景下早已力不从心。深度学习的出现，尤其是卷积神经网络（CNN），凭借其强大的特征自动提取能力，彻底改变了这一领域。

3.1 深度学习模型的两大流派：Two-Stage vs. One-Stage

在目标检测领域，深度学习模型主要分为两大架构：

  1. 两阶段检测器（Two-Stage）：以Faster R-CNN系列为代表。其流程是“先候选，后分类”。

    • 第一阶段（Region Proposal）：使用一个区域提议网络（RPN），在图像上生成大量可能包含物体的候选框（Region Proposals）。
    • 第二阶段（Detection）：对每个候选框进行精细的分类（是车还是背景？）和边框回归（调整框的位置）。
    • 优点：精度通常很高，尤其是对于小物体和定位精度要求高的场景。
    • 缺点：速度相对较慢，结构复杂，训练和部署开销大。

  2. 单阶段检测器（One-Stage）：以YOLO、SSD、RetinaNet为代表。其思想是“一步到位”。

    • 流程：将图像输入一个主干网络（Backbone）提取特征，然后在特征图的每个位置直接预测物体的类别和边界框。没有显式的区域提议步骤。
    • 优点：速度极快，结构简洁，更易于工程化和在嵌入式端部署。
    • 缺点：在同等精度下，传统单阶段检测器对小物体和密集物体的检测效果略逊于两阶段模型（但RetinaNet通过Focal Loss很大程度上解决了这个问题）。

3.2 我们的选择：YOLO系列（以YOLOv5为例）

对于自动驾驶中的车辆检测，实时性是不可妥协的硬指标。因此，单阶段检测器几乎是必然选择。在众多单阶段检测器中，YOLO系列因其在速度和精度间取得的出色平衡而备受工业界青睐。这里我选择YOLOv5作为讲解和实战的模型，原因如下：

  • 极高的效率：YOLOv5在Tesla V100上对COCO数据集的推理速度可达140 FPS以上，完全满足车载实时性要求。
  • 良好的精度：其精度与许多更复杂的模型相当，对于车辆这类尺度适中、特征明显的目标，效果非常好。
  • 工程化友好：YOLOv5的代码由PyTorch实现，结构清晰，提供了从数据准备、模型训练到模型导出的完整工具链，并且支持模型剪枝、量化等部署优化，对开发者极其友好。
  • 活跃的社区：拥有庞大的用户社区，遇到问题容易找到解决方案和预训练模型。

当然，你也可以根据具体需求选择YOLOv8、PP-YOLOE、或者Anchor-Free的模型如FCOS。但YOLOv5作为一个成熟、稳定且资料丰富的起点，是最适合学习和快速出成果的。

实操心得：在项目初期，不要盲目追求最新的SOTA模型。选择一个像YOLOv5这样经过充分实践验证、生态完善的模型，能帮你避开大量环境配置和基础功能的坑，把精力集中在解决业务逻辑和数据问题上。等原型跑通后，再考虑模型升级或替换。

4. 数据准备：模型性能的天花板

在深度学习领域，有一句话叫“Garbage in, garbage out”。数据质量直接决定了模型性能的上限。对于车辆检测，数据准备是整个流程中最耗时、但也最关键的环节。

4.1 数据集选择与介绍

我们不可能从零开始采集和标注数据。幸运的是，有几个高质量的公开自动驾驶数据集可供使用：

  • KITTI：自动驾驶领域最经典的数据集之一。包含城市、乡村和高速公路场景，提供了相机、激光雷达和GPS/IMU数据。其目标检测任务标注了“Car”、“Van”、“Truck”、“Pedestrian”等类别。数据量适中，是学术研究和入门实践的黄金标准。
  • BDD100K：规模巨大，包含10万段视频，覆盖了更多样的天气（晴天、雨天、雪天）和光照条件（白天、夜晚、黄昏）。其标注更为细致，包括车辆、行人、交通标志、车道线等。对于训练一个鲁棒的模型非常有帮助。
  • COCO：虽然并非专门的自动驾驶数据集，但其“car”类别包含的图像场景非常丰富，可以作为很好的补充数据，增加模型的泛化能力。

对于本教程，我建议从KITTI开始，因为它标注质量高，场景典型，且社区支持好。我们可以使用其2D目标检测的标注数据。

4.2 数据标注格式与转换

不同的检测框架需要不同的标注格式。YOLOv5要求的是特定的TXT格式：

<object-class> <x_center> <y_center> <width> <height>

其中坐标和宽高都是相对于图像宽度和高度的归一化值（范围0-1）。

KITTI数据集提供的标注格式是：

# 类型 截断程度 遮挡程度 观察角 2D框左上x 左上y 右下x 右下y ... Car 0.00 0 1.23 387.63 181.54 423.81 203.12 ...

因此，我们需要编写一个格式转换脚本。这个脚本的核心是坐标计算：

def kitti_to_yolo(kitti_bbox, img_width, img_height): """ 将KITTI格式的bbox (x1, y1, x2, y2) 转换为YOLO格式 (x_center, y_center, w, h) """ x1, y1, x2, y2 = kitti_bbox # 计算中心点 x_center = (x1 + x2) / 2.0 / img_width y_center = (y1 + y2) / 2.0 / img_height # 计算宽高 w = (x2 - x1) / img_width h = (y2 - y1) / img_height # 类别，KITTI中'Car'对应我们自定义的0 cls_id = 0 return f"{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}"

4.3 数据增强：低成本提升模型鲁棒性的法宝

我们收集的数据永远无法覆盖所有可能的真实场景。数据增强通过对训练图像进行一系列随机变换，来模拟各种复杂情况，从而显著提升模型的泛化能力。对于车辆检测，以下增强策略尤为有效：

  1. 几何变换：

    • 随机水平翻转：模拟对向车道，简单有效。
    • 随机旋转（小角度）：模拟上下坡或相机轻微倾斜。
    • 随机缩放与裁剪：模拟车辆远近变化，加强模型对尺度变化的适应性。
    • Mosaic增强：YOLOv5等现代检测器常用的“王牌”增强。将四张训练图像拼接成一张，让模型在一张图上学习识别不同尺度、不同背景下的目标，极大提升了小物体检测能力和批量归一化（BatchNorm）的效果。

  2. 像素变换：

    • 色彩抖动：调整亮度、对比度、饱和度和色调，模拟不同天气和时间的光照。
    • 添加噪声：模拟传感器噪声或恶劣天气下的图像质量下降。
    • 模糊：模拟运动模糊或失焦。

  3. 针对性的高级增强：

    • CutOut/Random Erasing：随机擦除图像中的矩形区域，强迫模型不依赖于车辆的某个局部特征（如车灯），而是学习更全局的特征，提升对遮挡的鲁棒性。
    • MixUp：将两张图像线性混合，同时混合其标签。这是一种正则化手段，能让决策边界更加平滑。

在YOLOv5中，这些增强策略大部分都已经在代码中实现了，我们只需要在配置文件中调整相关参数即可。例如，在data/hyps/hyp.scratch-low.yaml中，可以调整hsv_h,hsv_s,hsv_v（色彩空间增强）、degrees（旋转角度）、translate（平移）、scale（缩放）等参数。

注意事项：数据增强不是越多越好、越强越好。过于激进的增强（如大角度旋转、严重形变）可能会生成不现实的图像，反而干扰模型学习真实的车辆特征。建议开始时使用默认或中等强度的增强，根据模型在验证集上的表现（特别是过拟合/欠拟合情况）进行微调。

5. 模型构建与训练实战

现在，我们进入核心环节：使用PyTorch和YOLOv5框架，构建并训练我们的车辆检测模型。

5.1 环境搭建与项目初始化

首先，确保你的环境有Python（>=3.8）、PyTorch（>=1.7）和CUDA（如果使用GPU）。然后克隆YOLOv5官方仓库并安装依赖：

git clone https://github.com/ultralytics/yolov5.git cd yolov5 pip install -r requirements.txt

接下来，组织我们的数据集目录结构。YOLOv5期望的格式如下：

vehicle_detection_dataset/ ├── images/ │ ├── train/ │ │ ├── 000001.png │ │ └── ... │ └── val/ │ ├── 000100.png │ └── ... └── labels/ ├── train/ │ ├── 000001.txt │ └── ... └── val/ ├── 000100.txt └── ...

创建一个数据集配置文件vehicle.yaml，放在yolov5/data/目录下：

# vehicle.yaml path: /path/to/your/vehicle_detection_dataset # 数据集根目录 train: images/train # 训练集图像路径（相对于path） val: images/val # 验证集图像路径（相对于path） # 类别数 nc: 1 # 类别名称 names: ['car']

5.2 模型选择与配置

YOLOv5提供了不同大小和深度的预定义模型，从轻量到高精度：

  • yolov5n(nano): 最小最快，适合移动端或算力极低的设备。
  • yolov5s(small): 速度和精度的良好平衡，最适合入门和快速实验。
  • yolov5m(medium): 比s更大，精度更高。
  • yolov5l(large): 精度高，速度较慢。
  • yolov5x(xlarge): 最大最慢，精度最高。

对于车辆检测，yolov5s或yolov5m通常是很好的起点。它们能在保持实时性的前提下提供足够的精度。我们可以从预训练模型（在COCO数据集上训练过）开始微调，这能加速收敛并提升最终性能。

5.3 启动训练

使用以下命令开始训练。这里我详细解释每个关键参数：

python train.py \ --img 640 \ # 训练图像尺寸，必须是32的倍数。640是平衡速度和精感的常用尺寸。 --batch 16 \ # 批次大小。根据你的GPU显存调整。显存不足时减小此值或使用`--batch-size`。 --epochs 100 \ # 训练轮数。车辆检测通常50-150轮足够，可以观察验证集指标提前停止。 --data data/vehicle.yaml \ # 我们刚才创建的数据集配置文件路径。 --cfg models/yolov5s.yaml \ # 模型配置文件，选择yolov5s。 --weights yolov5s.pt \ # 加载预训练权重。从COCO预训练模型开始微调。 --name vehicle_det_v1 \ # 本次实验的名称，用于保存结果。 --project runs/train \ # 结果保存的根目录。 --device 0 \ # 使用GPU 0。如果是CPU则设为`cpu`。 --workers 8 \ # 数据加载的进程数，用于加速数据读取。 --hyp data/hyps/hyp.scratch-low.yaml \ # 超参数配置文件，使用保守的增强。 --rect \ # 矩形训练，可以加速训练并减少填充。 --cache \ # 缓存图像到内存或磁盘，极大加速训练。 --patience 30 # 早停耐心值，如果验证集指标连续30轮无提升则停止训练。

训练开始后，控制台会输出损失、精度等指标。更重要的是，YOLOv5会在runs/train/vehicle_det_v1目录下生成丰富的可视化结果：

  • weights/: 保存最佳模型（best.pt）和最后一轮模型（last.pt）。
  • results.png: 关键指标随训练轮次的变化曲线，包括损失、精度、召回率等。这是诊断训练过程最重要的工具。
  • confusion_matrix.png: 混淆矩阵，查看分类和定位错误。
  • val_batchX_labels.jpg&val_batchX_pred.jpg: 验证集批次的真实标签和模型预测对比，直观看到检测效果。

5.4 训练过程监控与调参

训练不是一蹴而就的，需要根据指标曲线进行诊断和调整：

  1. 损失曲线：

    • 训练损失平稳下降，验证损失先降后升：这是典型的过拟合。说明模型记住了训练集的噪声，而非一般规律。解决方案：增强数据增强（如增加CutOut、MixUp）、添加正则化（如DropOut，但YOLO中不常用）、减少模型复杂度、或收集更多训练数据。
    • 训练和验证损失都下降很慢或停滞：可能是欠拟合或学习率设置不当。解决方案：检查数据标注是否正确；增大模型容量（换用yolov5m）；适当增大学习率（通过--lr0参数）；或检查数据增强是否过于激进，导致图像信息损失严重。
    • 训练损失震荡剧烈：学习率可能太大。尝试减小学习率。

  2. 精度/召回率曲线：

    • 关注mAP@0.5和mAP@0.5:0.95。前者是IoU阈值为0.5时的平均精度，是主要参考指标；后者是多个IoU阈值下的平均，更严格。
    • 如果精度高但召回率低，说明模型很“保守”，只检测把握大的目标，漏检多。可以尝试在推理时降低置信度阈值（--conf-thres），或者在训练时调整损失函数中分类和定位损失的权重（在超参数文件中修改cls_pw,obj_pw等，需谨慎）。
    • 如果召回率高但精度低，说明模型“激进”，误检多。可以尝试提高置信度阈值，或者增加针对负样本（背景）的训练数据。

实操心得：不要一开始就尝试调整所有超参数。先确保数据没问题（标注准确、格式正确、类别平衡），然后用默认配置和预训练模型跑一个baseline。观察结果，如果baseline效果尚可，再针对性地进行微调。调参时遵循“控制变量法”，一次只改一个参数，并记录每次实验的结果，这样才能知道是哪个改动真正起了作用。

6. 模型评估与性能分析

训练完成后，我们需要用独立的测试集（训练和验证时都没用过的数据）来客观评估模型的性能。

6.1 使用验证脚本进行评估

YOLOv5提供了方便的评估脚本：

python val.py \ --weights runs/train/vehicle_det_v1/weights/best.pt \ --data data/vehicle.yaml \ --img 640 \ --batch 16 \ --task test \ # 指定在测试集上评估 --name final_eval \ --project runs/val \ --save-txt # 保存预测的标签文件，用于进一步分析

运行后，会输出详细的评估表格，核心指标包括：

  • P(Precision): 精确率，所有预测为正的样本中，真正为正的比例。
  • R(Recall): 召回率，所有真实为正的样本中，被正确预测为正的比例。
  • mAP@0.5: IoU阈值为0.5时的平均精度（AP）在所有类别上的均值。对于单类检测，就是AP。
  • mAP@0.5:0.95: 在不同IoU阈值（从0.5到0.95，步长0.05）下AP的平均值，是更综合的指标。

6.2 可视化分析与错误排查

数字指标很重要，但直观的可视化更能揭示问题所在。重点关注runs/val/final_eval目录下的文件：

  1. confusion_matrix.png：查看模型最容易将车辆与什么混淆。理想情况下，矩阵应该只有对角线很亮。
  2. F1_curve.png：F1分数是精确率和召回率的调和平均。曲线峰值对应的置信度阈值，可以作为推理时--conf-thres的参考值。
  3. P_curve.png和R_curve.png：分别展示精确率和召回率随置信度阈值变化的曲线。帮助你理解在什么阈值下能达到什么样的性能平衡。
  4. PR_curve.png：精确率-召回率曲线，曲线下的面积就是AP。曲线越靠近右上角（高精确率、高召回率），性能越好。
  5. labels.jpg和labels_correlogram.jpg：分析数据集中目标框的分布，如中心点位置、宽高比。如果训练集和真实场景分布差异大，模型性能会下降。

如何根据可视化结果改进模型？

  • 如果小物体检测差：检查数据集中小尺度车辆样本是否充足。可以增加Mosaic增强中小目标的权重，或者使用更专注于小物体检测的模型变体（如修改FPN/PANet结构）。
  • 如果特定场景（如夜间、雨天）检测差：说明数据分布不均。需要补充这些场景的数据，或者使用风格迁移等技术来增强数据。
  • 如果定位不准（框偏大或偏小）：可能是Anchor设置不合理。YOLOv5会通过K-means聚类在训练前自动计算数据集的Anchor尺寸，通常不需要手动修改。但如果你的车辆宽高比分布特殊（比如全是公交车），可以重新运行Anchor计算。

6.3 推理测试与效果展示

最后，用训练好的模型在几张真实场景图片或视频上跑一下，获得最直观的感受：

python detect.py \ --weights runs/train/vehicle_det_v1/weights/best.pt \ --source path/to/test/image_or_video_folder \ --img 640 \ --conf 0.25 \ # 置信度阈值，可根据F1曲线调整 --iou 0.45 \ # NMS的IoU阈值，用于合并重叠框 --device 0 \ --save-txt # 保存检测结果 --save-conf # 在标签中保存置信度 --view-img # 实时显示检测结果（如果有GUI）

观察检测结果：

  • 框得准不准？有没有漏掉远处的车？
  • 在逆光、阴影下表现如何？
  • 对于被部分遮挡的车（比如只看到车尾），还能检测出来吗？
  • 会不会把形状类似车的物体（如邮箱、空调外机）误检为车？

把这些观察记录下来，它们就是下一轮模型迭代（收集更多数据、调整数据增强策略、修改模型结构）最直接的依据。

7. 部署考量与工程化陷阱

模型在测试集上表现好，不等于能在车上稳定运行。从Jupyter Notebook到车载嵌入式平台，还有很长的路要走。

7.1 模型优化：轻量化与加速

车载计算单元（如NVIDIA Jetson AGX Orin, Xavier）的算力和内存有限，必须对模型进行优化。

  1. 模型剪枝：移除网络中冗余的通道或层，在精度损失很小的前提下大幅减少参数量和计算量。YOLOv5社区有基于通道重要性的剪枝工具。
  2. 量化：将模型权重和激活从32位浮点数（FP32）转换为更低精度，如16位浮点（FP16）甚至8位整数（INT8）。INT8量化通常能带来2-4倍的推理速度提升和显著的内存节省，但需要校准数据来减少精度损失。PyTorch和TensorRT都提供了量化工具。
  3. 知识蒸馏：用一个庞大、精确的“教师模型”来指导一个小型“学生模型”的训练，让学生模型在保持较小体积的同时获得接近教师模型的性能。
  4. 使用更高效的主干网络：将YOLOv5默认的CSPDarknet53主干网络替换为更轻量的网络，如MobileNetV3、ShuffleNetV2、或专为边缘设备设计的EfficientNet-Lite。

7.2 工程集成中的关键问题

  1. 预处理与后处理效率：图像缩放、归一化（预处理）以及非极大值抑制NMS（后处理）也会消耗时间。需要确保这些操作在目标平台上高效完成，例如使用GPU加速的OpenCV或专用库。
  2. 多传感器融合：纯视觉检测存在局限性（如恶劣天气、强光）。在实际系统中，车辆检测会与毫米波雷达、激光雷达的结果进行融合，提升可靠性和鲁棒性。这就需要处理时间同步、坐标系统一、数据关联等问题。
  3. 时序信息利用：视频是连续的帧序列。相邻帧间的车辆运动具有连续性。简单地逐帧独立检测会浪费这些信息，并可能导致结果抖动。引入基于卡尔曼滤波或简单运动模型的跟踪算法（如SORT, DeepSORT），可以平滑检测结果，并为行为预测提供输入。
  4. 系统延迟与流水线：从图像采集、传输、预处理、推理到后处理，整个流程的端到端延迟必须满足实时性要求（如<100ms）。需要优化整个流水线，避免某一环节成为瓶颈。

避坑指南：在模型部署的早期，就必须在目标硬件或性能相近的硬件上进行性能剖析。使用torch.profiler或Nsight Systems等工具，找出耗时最多的算子或层。很多时候，瓶颈不在模型推理本身，而是在数据搬运（CPU到GPU）、或某个不起眼的后处理函数上。提前发现并优化这些点，能避免后期集成时的重大返工。

8. 总结与展望：从检测到感知系统

通过这个项目，我们完成了一个完整的、基于深度学习的车辆检测模型从0到1的构建过程。我们深入讨论了为什么选择单阶段检测器，如何准备和增强数据，如何训练和调参，以及如何评估和向工程化迈进。车辆检测是自动驾驶感知的入口，但绝不是终点。

一个完整的感知系统，还需要：

  • 多类别检测：同时检测行人、骑行者、交通标志、信号灯等。
  • 实例分割：不仅框出车，还要精确到像素级别地勾勒出车的轮廓，这对于可行驶区域判断和近距离交互更重要。
  • 3D检测与姿态估计：从2D图像或激光雷达点云中估计车辆的三维包围盒和朝向，这是进行精确轨迹预测和规划的基础。
  • 目标跟踪：为每一辆检测到的车分配一个唯一的ID，并在连续帧中保持，从而形成轨迹。

车辆检测作为这一切的基础，其稳定性和准确性至关重要。希望这篇详尽的指南能为你打下坚实的基础。在接下来的实践中，你可能会遇到千奇百怪的问题——某个场景下突然大批量漏检、模型在边缘设备上精度暴跌、跟踪ID频繁跳变……但解决问题的过程，正是能力提升最快的时候。记住，多看数据、多分析bad case、保持耐心迭代，你就能让模型越来越“聪明”，越来越接近老司机的眼睛。