1. 这篇文章真正要解决的问题如果你在 CSDN 上搜过“水下目标检测”大概率会看到两类内容一类是学术论文的复现笔记模型跑在公开数据集上mAP 报得一个比一个好看另一类是“AI 环保”的宏大叙事说 AI 能自动发现海底垃圾、保护海洋生态。但真到想下手做一个系统时你会发现中间缺了很大一块水下这个环境和陆地目标检测根本不是一回事。陆地目标检测摄像头是干净的光线是稳定的目标形态是相对规整的。你可以轻松找来几万张标注好的图像直接丢进 YOLO 训练。水下环境完全不同光线被水吸收颜色随深度漂移水体浑浊导致对比度极低悬浮颗粒制造大量噪声。更头疼的是垃圾这个类别本身就没有固定形态——一个塑料袋在水里可能蜷成一团也可能展开像一片水母一个渔网可能缠绕在礁石上也可能悬浮在水中和被冲下来的海草混在一起。这篇文章要解决的核心问题不是教你“跑通一个 YOLO 训练脚本”而是带你理清从“AI 能识别水下垃圾”这件事到一个可落地的水下垃圾检测系统中间需要跨越哪些技术鸿沟。我会从图像退化原理讲起说明为什么水下目标检测不能照搬陆地方案然后给出一条实用的技术路线包括数据预处理、模型选型、训练配置、推理验证最后补充工程落地时的常见坑和最佳实践。读完这篇文章你应该能对自己的项目做出判断数据够不够、模型选哪类、部署在什么硬件上、效果怎么评估。2. 水下目标检测的基础概念与核心原理2.1 先拆清楚“水下垃圾检测”到底是个什么任务从计算机视觉的角度看水下垃圾检测本质上是一个**目标检测Object Detection**任务给定一张水下图像算法需要输出图像中出现的垃圾目标的类别和位置边界框。但它和通用的目标检测有一个关键差异图像质量退化严重。水对光的吸收和散射会显著降低图像质量目标往往模糊、颜色失真、对比度低。这意味着哪怕你用的模型架构再强直接把原始图像喂进去效果也会大打折扣。业界通常把水下目标检测系统的技术栈拆成四层层级主要工作典型技术/工具图像采集层水下相机、光源、ROV/水下机器人水下摄像头、LED 补光、声纳图像增强层颜色校正、去雾、对比度增强灰度世界算法、暗通道先验、深度学习增强模型检测识别层目标定位与分类YOLO系列、RT-DETR、Faster R-CNN部署决策层端侧推理、结果后处理、告警TensorRT、ONNX Runtime、边缘计算设备很多入门者把精力全部押在第三层“检测识别层”调模型调得昏天黑地但忽略了前面两个层级。真实项目里前面两层往往决定了检测效果的最终上限。2.2 核心原理水对成像的影响要理解水下视觉为什么难先要理解水怎么“破坏”图像。水对光的衰减遵循一个基本规律不同波长的光在水中的衰减速度不同。红光衰减最快蓝绿光衰减最慢。这就是为什么水下照片普遍偏蓝绿色而红色物体会迅速“消失”成灰黑色。此外水中悬浮的微小颗粒会对光线产生散射形成类似雾天的效果叫做“水下雾化”。这会导致图像对比度下降远处细节完全丢失。因此水下图像增强的任务本质上是两件事色彩补偿把被水吸收的颜色恢复回来和对比度恢复把散射造成的模糊去掉。处理完这两步再把图像交给检测模型模型才能看到更接近目标真实样貌的特征。2.3 容易混淆的概念图像增强与图像复原写代码前一定要分清楚两个概念图像增强Image Enhancement不关心图像退化的物理模型直接通过灰度变换、直方图均衡、滤波等手段让图像“看起来更好”。优点是快、通用缺点是可能过度拉伸噪声。图像复原Image Restoration建立光的传播模型估计水的散射系数试图反演出清晰的原始图像。效果好但计算量大模型泛化性差。实际项目中二者经常结合使用。本文采用轻量增强策略因为部署在嵌入式设备上时计算开销是硬约束。3. 环境准备与前置条件水下垃圾检测项目的开发环境与普通深度学习项目类似但有特殊性你不仅需要 Python 和 PyTorch还需要考虑图像处理库、数据标注工具以及后续部署到边缘设备的工具链。3.1 开发环境清单以下环境配置以通用深度学习开发为例具体版本请以实际项目安装时为准这里重点演示整体思路组件建议说明操作系统Ubuntu 20.04/22.04 或 Windows 10/11Linux 环境对后续 TensorRT 部署更友好Python3.8 及以上深度学习框架普遍要求CUDA 与 cuDNN按 GPU 驱动版本安装训练阶段需要PyTorch2.x主力训练框架图像处理库OpenCV、Albumentations预处理、数据增强目标检测框架Ultralytics YOLOv8 或 YOLOv5轻量、生态成熟数据标注工具LabelImg 或 X-AnyLabeling矩形框标注即可3.2 安装依赖示例# 创建虚拟环境推荐 python -m venv underwater_det_env source underwater_det_env/bin/activate # 安装 PyTorch以 CUDA 11.8 为例按官方文档选择对应版本 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 安装 Ultralytics pip install ultralytics # 安装图像处理与数据增强库 pip install opencv-python albumentations numpy如果你只有 CPU 环境也可以跑通完整流程只是训练速度会慢很多。建议先用小数据集验证逻辑再上 GPU 训练。3.3 数据准备从哪里获取水下垃圾图像这是整个项目最容易被低估的环节。水下垃圾数据集比陆地上的要稀缺得多公开数据集中能被直接拿来用的主要有几类水下目标检测通用数据集比如 Aquarium 数据集、DeepTrash 数据集包含部分水下垃圾图像但数量和标注质量参差不齐。海洋生物数据集不能直接用于检测垃圾但可以作为数据增强或领域适应的辅助材料。自采数据如果你能接触到水箱、养殖池、水下机器人自采后人工标注是更可靠的做法。不要一上来就追求“数据多”。水下数据更看重场景覆盖度浑浊度、深度、光线条件、物体形态的多样性远重要于单纯的数量。宁可要 500 张高质量、覆盖多种场景的标注图也不要 5000 张都是同一种蓝绿色浑浊水体、目标全部居中高亮的图。4. 核心流程拆解从原始图像到检测输出一个完整的水下垃圾检测项目开发流程可以拆成五个关键环节。下面按顺序梳理每一步说明“做什么、为什么做、做错了会怎样”。4.1 数据采集与标注用 ROV遥控水下机器人或水下相机采集视频然后抽帧得到图像。抽帧时要注意避免连续帧高度相似否则会造成数据冗余和过拟合。标注采用 COCO 格式或 YOLO 格式都可以。对水下垃圾这个任务建议首先定义清晰的类别体系例如0: plastic_bag # 塑料袋/塑料膜 1: fishing_net # 渔网/渔线 2: bottle # 瓶子塑料/玻璃 3: metal # 金属物件 4: rubber # 橡胶/轮胎类 5: other_waste # 其他垃圾类别不要定得太多太细。水下图像本来就模糊如果类间差异太小比如“塑料瓶”和“玻璃瓶”标注人员都难判断模型更学不会。这个环节最常见的错误是标注者对“垃圾”的定义不统一。比如一块在水中漂动的海草要不要标一个贝壳和一片碎瓷片怎么区分建议在标注前形成一份“标注规范文档”把边界情况写清楚并让团队所有人按同一标准工作。4.2 图像预处理水下图像预处理是在喂给模型之前先对原始图像做修复和增强。这一步的价值我举个例子你就能感受到一张水下 10 米深处拍摄的塑料袋照片整体色调偏蓝绿袋子本身可能是白色的但在图像里几乎和背景融为一体。如果不做颜色校正检测模型很可能直接把塑料袋漏掉。后面第 5 节会给出完整代码示例。4.3 模型训练选定检测模型后加载预训练权重比如 YOLOv8 在 COCO 上的权重用你的水下数据集做微调fine-tuning。因为水下图像与自然图像的分布差异很大微调时通常需要把前面若干层也放开训练而不是只训练最后的分类头。4.4 模型评估训练完成后不能只看 loss 下降了多少。目标检测的评估指标主要有 mAPmean Average Precision、Precision精确率、Recall召回率。对于水下垃圾检测召回率比精确率更重要。漏掉一个垃圾漏检的代价是很大的——它意味着垃圾会继续留在海里而误报把石头误判为垃圾只是多一条人工复核记录。因此在实际调参时可以适当降低置信度阈值优先保证“能找到”再用人工审核过滤误报。4.5 部署与实时检测最终系统要跑在什么设备上直接决定你选什么模型、用什么推理引擎。部署场景硬件建议常见推理方案近实时视频分析岸边工作站 GPUPyTorch / TensorRTROV/水下机器人端侧NVIDIA Jetson 系列、算力较高的嵌入式平台TensorRT / ONNX Runtime轻量离线分析CPU 服务器ONNX Runtime / OpenVINO如果是部署在 Jetson 这类嵌入式平台上模型轻量化就是刚需需要用 TensorRT 做 INT8 量化甚至考虑蒸馏一个小模型。5. 完整示例与代码实现下面我会用一个最小可运行的方案把整个流程串起来。这个方案基于 YOLOv8 水下图像增强目标是在真实项目里可以当作基线baseline来跑。5.1 水下图像色彩增强示例先写一个水下图像增强模块。这里用“灰度世界假设”做颜色校正认为图像中 RGB 通道的平均值应该相等沿通道方向做比例补偿。这是工程上最简单、最稳的水下图像预处理手段。# 文件路径preprocess/color_correction.py import cv2 import numpy as np def gray_world_color_correction(img): 灰度世界假设的颜色校正用于补偿水下图像的偏色。 :param img: BGR 格式图像uint8 :return: 校正后的 BGR 图像 if img is None: raise ValueError(输入图像为空) result img.astype(np.float32) avg_b np.mean(result[:, :, 0]) avg_g np.mean(result[:, :, 1]) avg_r np.mean(result[:, :, 2]) avg_gray (avg_b avg_g avg_r) / 3.0 # 各通道按比例补偿到平均灰度 result[:, :, 0] np.minimum(result[:, :, 0] * (avg_gray / (avg_b 1e-6)), 255.0) result[:, :, 1] np.minimum(result[:, :, 1] * (avg_gray / (avg_g 1e-6)), 255.0) result[:, :, 2] np.minimum(result[:, :, 2] * (avg_gray / (avg_r 1e-6)), 255.0) return result.astype(np.uint8) def adaptive_contrast_enhancement(img): 自适应直方图均衡化CLAHE增强局部对比度。 对水下模糊图像尤其有效。 lab cv2.cvtColor(img, cv2.COLOR_BGR2LAB) l_channel, a_channel, b_channel cv2.split(lab) clahe cv2.createCLAHE(clipLimit2.5, tileGridSize(8, 8)) l_clahe clahe.apply(l_channel) merged cv2.merge((l_clahe, a_channel, b_channel)) return cv2.cvtColor(merged, cv2.COLOR_LAB2BGR) def underwater_preprocess(img): 两步增强先颜色校正再对比度增强。 color_corrected gray_world_color_correction(img) enhanced adaptive_contrast_enhancement(color_corrected) return enhanced这段代码的核心逻辑很清晰gray_world_color_correction负责把偏蓝偏绿的颜色拉到正常范围adaptive_contrast_enhancement负责提高局部对比度让淹没在模糊背景里的目标轮廓更明显。你可能会问直接让模型看到原始水下图像不行吗从实践看很多情况下模型也能“学会”但需要更多数据去覆盖各种水体条件下的颜色变化。预处理之后再训练数据分布的方差会小很多训练效率和最终指标通常都更好。5.2 用 YOLOv8 训练水下垃圾检测模型在准备好标注数据和增强脚本后可以开始训练。推荐先用 YOLOv8n 或 YOLOv8s 这种小模型验证数据有效性之后再根据需求升级到更大的模型。数据集目录结构建议如下underwater_dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yaml其中data.yaml是训练配置文件# 文件路径underwater_dataset/data.yaml train: underwater_dataset/images/train val: underwater_dataset/images/val nc: 6 names: 0: plastic_bag 1: fishing_net 2: bottle 3: metal 4: rubber 5: other_waste训练命令yolo detect train \ modelyolov8n.pt \ dataunderwater_dataset/data.yaml \ epochs100 \ imgsz640 \ batch16 \ device0 \ projectruns \ nameunderwater_yolov8n参数说明modelyolov8n.pt使用 YOLOv8 Nano 预训练权重。Nano 模型最小适合先跑通流程。imgsz640输入图像尺寸。水下小目标多不建议用 320 或更低。epochs100数据集小可以先按这个数字来配合早停机制观察。batch根据 GPU 显存调整一般 16 或 32 即可。训练过程中观察两个关键指标train/loss是否稳定下降、val/mAP50是否持续上升。如果 loss 下降但 mAP 不动先检查数据标注是否有错、类别是否过于不均衡。一个常见的误区是把数据增强开到很大。水下图像已经很差了如果训练时再叠加大量随机裁剪、旋转、颜色扰动会让模型更难学到稳定特征。推荐从小幅增强开始。5.3 推理与检测结果可视化训练完成后写一个推理脚本加载最优权重对单张图像或视频帧做检测。# 文件路径infer.py from ultralytics import YOLO import cv2 model YOLO(runs/underwater_yolov8n/weights/best.pt) # 读取并增强水下图像 image cv2.imread(test_underwater.jpg) image underwater_preprocess(image) # 推理。conf 阈值设低一些优先保证召回 results model.predict(image, conf0.15, iou0.5, verboseFalse) # 保存可视化结果 annotated results[0].plot() cv2.imwrite(test_underwater_result.jpg, annotated) # 打印检测结果 for box in results[0].boxes: cls_id int(box.cls[0]) conf float(box.conf[0]) class_name model.names[cls_id] xyxy box.xyxy[0].tolist() print(f检测到 {class_name}, 置信度: {conf:.2f}, 坐标: {xyxy})这里把置信度阈值设成 0.15是一个故意的选择。水下检测的误检可以通过后续人工审核或时域过滤多帧确认同一目标来消化但漏检几乎是不可逆的。在工程上这叫做“在 Precision 和 Recall 之间做取舍”对水下垃圾场景优先保 Recall 更合理。5.4 数据增强管线示例水下数据稀缺除了预处理外训练阶段的数据增强也很关键。推荐用 Albumentations 库构建专用增强管线。# 文件路径preprocess/augmentations.py import albumentations as A from albumentations.pytorch import ToTensorV2 def get_underwater_augmentations(): 为水下目标检测场景定制的数据增强。 注意增强不能过度否则会让本已模糊的水下图像更难学习。 return A.Compose([ A.HorizontalFlip(p0.5), A.RandomBrightnessContrast(brightness_limit0.2, contrast_limit0.15, p0.5), A.HueSaturationValue(hue_shift_limit0, sat_shift_limit0.1, val_shift_limit0, p0.3), A.RandomScale(scale_limit0.15, p0.5), A.PadIfNeeded(min_height640, min_width640, border_mode0), A.RandomCrop(width640, height640, p0.5), ToTensorV2(), ], bbox_paramsA.BboxParams(formatyolo, min_visibility0.3))这个增强管线的思路是小幅扰动空间位置和亮度对比度不做大幅颜色变换。原因是水下图像的全局颜色特征本身就是识别背景与目标的重要线索过度颜色变换会破坏这个线索。6. 运行结果与效果验证6.1 训练输出验证训练正常结束后YOLO 会在runs/underwater_yolov8n/目录下生成完整训练日志包括weights/best.pt验证集上表现最好的权重。weights/last.pt最后一个 epoch 的权重。results.png训练过程中的 loss 曲线和 mAP 曲线。confusion_matrix.png混淆矩阵。请务必打开results.png查看。最理想的状态是val/box_loss和val/cls_loss都逐步下降metrics/mAP50和metrics/mAP50-95持续上升并趋于平稳。如果val/box_loss在训练中期突然反弹说明可能过拟合或学习率过大可以先降低学习率、增加数据增强或者减少 epoch。6.2 单张图片验证用前面的infer.py脚本跑一张测试图预期输出类似检测到 plastic_bag, 置信度: 0.73, 坐标: [142.5, 89.3, 386.1, 452.0] 检测到 bottle, 置信度: 0.58, 坐标: [510.2, 220.0, 701.8, 501.4]同时生成可视化图片test_underwater_result.jpg检测框会直接画在原图上。成功标准不是“检测出来了就是好”。你需要问自己几个问题目标没有被框住还是框的位置偏差很大目标类别正确吗塑料瓶是不是被识别成了金属置信度是否在合理区间如果一个塑料袋识别置信度只有 0.15在真实场景里很可能被漏掉。6.3 视频流验证如果要部署到 ROV 上建议用视频流做测试观察模型的时域稳定性。一个常见现象是单帧检测正常但连续帧里同一个目标一会儿被检测出来、一会儿又消失。这时可以在后处理层加入时序平滑逻辑同一位置目标连续出现 N 帧以上才判定为有效检测。7. 常见问题与排查思路水下目标检测的排查链路和陆地目标检测有很大不同。下面是实践中出现频率较高的问题及解决方案问题现象可能原因排查方式解决方案模型在真实水下图像上检测效果差训练数据与真实场景分布差异大对比训练集和测试集的颜色、模糊程度、目标尺度增加真实场景数据用目标场景域数据进行微调加入更贴合的水下图像增强瓶子和塑料袋这类目标频繁漏检目标本身与背景对比度低预处理不足或模型容量不够检查增强后的图像目标是否仍“看不清”查看 PR 曲线中低置信度区间的表现加强颜色补偿、调低置信度阈值、换更大模型、增加此类样本数量误报极高把礁石、水草都识别为垃圾负样本缺失类别定义不清晰阈值过低统计误报目标看它们集中的类别和位置增加“干扰物”类别或负样本提高置信度阈值在标注规范中明确边界情况训练 loss 不下降数据集太小、标注错乱、学习率设置不合适先在小批量上过拟合测试查看标签是否有越界坐标用 10 张到 20 张图跑一遍过拟合验证用yolo detect train的默认学习率起步边缘设备推理速度不达标模型过大、没有用 TensorRT/ONNX 优化测量每帧推理耗时对比在不同输入尺寸下的耗时改用更小的模型YOLOv8n→YOLOv8n 量化、降低输入分辨率、用 TensorRT INT8 量化颜色增强后图像反而更暗或偏色严重灰度世界算法在单一颜色场景下失效打印各通道均值检查图像颜色直方图给灰度世界算法加一个范围限制或改用其他颜色校正方法如基于深度估计的校正目标尺寸太小检不出来水下小目标本来就难下采样丢失细节检查原图中目标的像素尺寸提高输入分辨率使用 tiling切图拼接推理在模型 Neck 部分增加小目标检测头值得单独说一句的是如果你的图像增强步骤做过头了问题比不做增强更难排查。因为模型学到的可能是“增强后图像的视觉特征”而不是“水下目标本身的视觉特征”。每次调整预处理之后最好同时保留不配增强的模型作为对照用同一组测试集评估。8. 最佳实践与工程建议8.1 数据层面主动学习闭环水下垃圾数据采集成本高每一次出海或 ROV 下潜的拍摄都很贵。因此不要只做一次“人工标注 → 训练 → 结束”的线性流程。更高效的做法是建立主动学习闭环用当前模型对未标注图像做预测。筛选出模型“低置信度”或“高不确定性”的图像。把这些图像交给标注人员优先标注。增量训练重复这个循环。这样能用最少的标注成本换取最大的模型性能提升。8.2 模型层面基线优先逐步升级我强烈建议从 YOLOv8n 或 YOLOv5s 这类轻量模型开始跑通端到端流程把数据问题、预处理问题和评估体系先建立起来。不必一开始就追求 SOTA 模型。等你确认数据质量没问题、评估指标能真实反映模型表现之后再尝试大模型或者最新的检测架构。在水下场景中模型容量的边际收益被图像质量严重制约。如果预处理做得不好用再大的模型也无济于事。8.3 部署层面目标检测只是算法模块真正要部署到生产环境的系统不只是有一个目标检测算法就够了。你需要考虑数据链路水下摄像头视频如何传输是 ROV 实时传回还是离线拷回告警逻辑检测到垃圾后是自动触发机械臂抓取还是只生成标记供人工确认性能监控模型的推理延迟、检测置信度分布、误报率指标都需要持续监控。模型更新机制模型在哪个环节打版本如何做 A/B 测试如何回滚。这些工程问题往往比训练模型本身更耗时也更容易被低估。如果看这类项目的话我觉得可以把它当作一个带约束的视觉检测系统来设计而不是把它看作一个 AI 算法演示。8.4 安全与合法合规提醒水下作业涉及海洋生态和地理信息务必在合法授权和监管允许的范围内开展数据采集与系统部署避免在不允许的区域进行拍摄或作业。涉及 ROV 硬件操作时要遵守设备使用规范评估水流、深度和设备安全边界做好应急预案。9. 光学图像 声纳融合下一个值得关注的方向现在再回看“AI 检测水下垃圾”这个话题。只靠摄像头其实是有上限的。原因很简单在浑浊水体和低光环境下光学图像的能见度可能只有几米甚至更短。在这种条件下哪怕检测算法再先进输入图像里根本看不到目标信息。业界正在尝试的一个方向是把光学相机和声纳声学成像结合。声纳不受浊度影响但分辨率低不能像图像一样富含纹理细节光学相机分辨率高但受水质限制大。两者融合的目标是用声纳做远距离候选区域筛选再用光学相机对候选区域做精细识别。这是一种非常典型的“粗定位 精识别”两阶段思路。如果你对这个方向感兴趣可以关注侧扫声纳、前视声纳与水下视频目标检测结合的相关论文以及水下机器人的自主巡检领域。这类研究距离产品化更近也更考验工程整合能力。10. 总结与后续学习建议写到这里你应该能理解文章最开始的那个判断了水下垃圾检测的核心难点并不在于目标检测算法本身而在于水下图像退化、训练数据稀缺、部署条件受限这三座大山。我建议你按下面的路径继续实践先跑通最小闭环用一个开源数据集或自采小数据集完成“图像增强 YOLOv8n 训练 单帧推理”的完整流程不要一开始就把目标定在“要做到生产级”。建立评估体系用 mAP、召回率、误报率三个指标记录每次实验的变化。没有评估体系后续优化都是盲目的。在预处理上下功夫对比“不增强”“灰度世界增强”“灰度世界 CLAHE”三种条件下训练出的模型在真实测试集上的表现差异。再做部署优化确定了基线和评估体系后再考虑用 TensorRT 做推理加速、模型量化、边缘设备适配。保持方向敏感关注水下成像硬件的发展、开源数据集的新增、以及声学与光学融合方向的技术进展。技术上的路径大致如此。真正决定项目成败的往往不是某个模型的 mAP 提升零点几而是你有没有把数据、评估、部署这些环节串起来。希望这篇文章能帮你少走一些弯路尤其是别再直接从“把 YOLO 丢进水里”开始了。