1. 目标检测技术演进概述
目标检测是计算机视觉领域的核心任务之一,它不仅要识别图像中的物体类别,还要精确定位物体的位置。传统方法如HOG和DPM曾主导这个领域,直到2014年RCNN的横空出世,开启了基于深度学习的检测新时代。我至今记得第一次用RCNN跑通PASCAL VOC数据集时的震撼——53.7%的mAP在当时简直是飞跃式的提升。
这个演进过程就像汽车工业的发展史:RCNN好比最早的蒸汽汽车,虽然比马车快但效率低下;Fast RCNN就像内燃机汽车,大幅提升了运行效率;而Faster RCNN则如同现代电动汽车,实现了动力系统的全面整合。三代算法的核心差异主要体现在三个关键环节:候选框生成、特征提取方式和训练流程。
2. RCNN:深度学习的开山之作
2.1 核心思想解析
RCNN的创新点在于将CNN引入目标检测流程。其核心流程分为四步:先用Selective Search生成约2000个候选框;然后将每个候选框缩放到227x227输入CNN(如AlexNet)提取4096维特征;接着用20个SVM分类器(对应PASCAL VOC的20类)进行分类;最后用回归器微调框的位置。
我曾在项目中复现这个过程,发现最耗时的就是特征提取阶段。一张图片要经过2000次前向传播,用VGG16处理一张图需要53秒!这就像要给2000个人每人拍一张X光片,而不是拍一张大图再局部查看。
2.2 网络架构详解
RCNN的架构像一条流水线:
- Selective Search:基于颜色、纹理等低级特征合并区域
- CNN特征提取:通常用预训练模型+finetune
- SVM分类器:每个类别独立训练二分类器
- BBox回归:对每个类别单独训练回归模型
这种设计带来三个明显问题:首先,多阶段训练非常繁琐,我调试时经常要依次调整四个模块的超参数;其次,候选框需要存储在磁盘上,5k张图片的特征会占用几百GB空间;最重要的是固定尺寸的缩放会导致形变,特别是对于长宽比异常的物体。
3. Fast RCNN:效率革命
3.1 架构创新突破
Fast RCNN最大的改进是特征共享机制。它先对整个图像做一次CNN前向传播得到特征图,再通过ROI Pooling从特征图上提取每个候选框对应的特征。实测下来,这种设计使训练速度提升9倍,测试速度提升213倍。
ROI Pooling是个精妙的设计。假设候选框在特征图上的投影坐标为(x,y,w,h),我们将其划分为7x7的网格,每个网格做Max Pooling。这样不同大小的候选框都能输出固定尺寸(7x7)的特征。我在实验中发现,这个尺寸对VGG16的后续全连接层刚刚好。
3.2 多任务损失函数
Fast RCNN首次实现端到端训练,关键在于多任务损失:
L = L_cls + λL_loc分类损失L_cls用softmax交叉熵,定位损失L_loc用smooth L1。λ通常取1实现平衡。这种设计让网络能同时优化分类和定位任务,就像学生既要学知识又要练习实操。
不过Fast RCNN仍有瓶颈——Region Proposal。虽然特征提取改用GPU了,但Selective Search还是在CPU上跑,2s/图的处理速度成为整个系统的短板。这促使了Faster RCNN的诞生。
4. Faster RCNN:端到端的完美形态
4.1 RPN网络设计
Faster RCNN的核心创新是Region Proposal Network(RPN),它彻底取代了Selective Search。RPN在特征图上滑动3x3的窗口,每个位置生成9个anchor(3种尺度×3种长宽比)。我画过anchor的可视化图,就像在图像上撒下不同形状的"渔网"。
RPN的训练涉及有趣的样本选择策略:
- 正样本:与真实框IoU>0.7,或某个真实框的最大IoU
- 负样本:与所有真实框IoU<0.3
- 忽略样本:介于0.3-0.7之间的样本
这种策略确保了正负样本的平衡。实际训练时,每张图采样256个anchor,正负样本1:1。
4.2 网络架构整合
Faster RCNN的完整架构像精密的瑞士手表:
- 共享卷积层:通常用VGG16/ResNet提取特征
- RPN层:生成候选框+初步分类/回归
- ROI Pooling:统一特征尺寸
- 检测头:最终分类+框精调
这种设计实现了真正的端到端训练。我在VOC2007上测试时,mAP达到73.2%,速度达到5FPS。虽然比不上后来的YOLO,但在当时已是巨大突破。
5. 三代算法对比与工程实践
5.1 性能指标对比
| 指标 | RCNN | Fast RCNN | Faster RCNN |
|---|---|---|---|
| 训练时间(h) | 84 | 9.5 | 8.3 |
| 测试时间(s/img) | 50 | 2.3 | 0.2 |
| VOC07 mAP(%) | 58.5 | 66.9 | 73.2 |
从表格可以看出,每代算法都有质的飞跃。不过在实际项目中,我发现Faster RCNN对小物体检测仍有不足,这时可以调整anchor的尺度和比例。
5.2 实战经验分享
在部署Faster RCNN时,有几个实用技巧:
- Anchor调参:对于交通场景,我设置anchor为[32,64,128]尺度,长宽比增加[1:3,3:1]
- 训练技巧:先用4步交替训练(RPN和检测头交替训练),最后联合微调
- 推理优化:将NMS阈值从0.7降到0.5,减少漏检
记得有次处理无人机图像,原版anchor对大尺度物体效果差,调整最大尺度到1024后效果显著提升。这说明理解算法原理后,灵活调整比盲目调参更有效。