使用YOLOv11和域随机化策略的合成到真实目标检测

大家读完觉得有帮助记得关注和点赞！！！

摘要

本文解决了目标检测中的合成到真实域差距问题，重点研究了仅使用合成数据和域随机化策略训练YOLOv11模型来检测特定物体（汤罐头）的方法。该方法涉及对数据增强、数据集组合和模型缩放的广泛实验。虽然合成验证指标一直很高，但事实证明它们对真实世界性能的预测能力很差。因此，模型还通过预测结果的视觉检查进行定性评估，并在手动标记的真实世界测试集上进行定量评估，以指导开发。最终的mAP@50分数由Kaggle竞赛官方提供。关键发现表明，增加合成数据集的多样性（特别是包括不同的视角和复杂背景），结合精心调整的数据增强，对于弥合域差距至关重要。性能最佳的配置（在扩展和多样化的数据集上训练的YOLOv11l模型）在竞赛的隐藏测试集上实现了0.910的最终mAP@50。这一结果证明了纯合成训练方法的潜力，同时也突显了在完全捕捉真实世界可变性方面仍然存在的挑战。

索引术语：​ 目标检测，合成数据，合成到真实，域随机化，YOLO，数据增强。

I 引言

针对真实世界应用的目标检测模型的开发常常受到收集和标记大型数据集的高成本和精力的限制。合成数据提供了一种成本效益高、可扩展且无偏见的创建标记训练数据的方法，并且日益被认为具有解决各个领域中重大真实世界挑战的潜力[1]。然而，合成训练数据与真实世界测试数据之间的域差距给将这种技术应用于真实世界应用带来了挑战，导致泛化性能差[2]。

在此背景下，创建了一个Kaggle竞赛[3]，旨在使用仅由Falcon的Duality AI模拟器生成的合成数据来训练一个用于检测汤罐头的YOLO模型。本文详细介绍了为该竞赛创建的一个项目，该项目专注于仅使用合成数据和域随机化策略来解决合成到真实的域差距问题，最终目标是获得高的交并比（IoU）阈值为0.5时的平均精度（mAP@50）分数。

尽管Falcon最初提议使用YOLOv8预训练模型，但我们独立决定改用Ultralytics的YOLOv11 [4]，因为基准测试比较（见图1）表明YOLOv11在准确性、速度和效率方面具有更优的性能。此外，还探索了数据增强策略，以提高模型从合成域泛化到测试集中未见过的真实世界图像的能力。

本文分为以下几个部分：相关工作的简要概述，方法、数据集、模型和实验设置的描述。最后，展示并讨论了结果，以对未来潜在工作的评论结束本文。

II 相关工作

目标检测是一项基本的计算机视觉任务，具有众多应用。最近的进展主要由深度学习模型推动，特别是YOLO（You Only Look Once）系列[5]，它将检测框架化为回归问题以提供实时性能。根据Kaggle竞赛使用YOLO的建议，对不同YOLO版本性能指标的基准比较表明，YOLOv11实现了更高的准确性，这也是Kaggle挑战的主要目标。

图1：YOLOv11与之前版本的基准测试。

训练稳健的目标检测器通常需要大型标记数据集，如COCO [6] 或 ImageNet [7]。获取特定物体或场景的此类数据集的困难导致了对使用合成数据的兴趣日益增长[8][9][2]。然而，在合成数据上训练并在真实世界数据上测试会产生模拟到真实的域差距，这也是本次Kaggle竞赛所面临的挑战。

弥合这一差距的方法多种多样，可以大致分类。一种主要方法是域适应，旨在对齐合成域和真实域之间的特征分布。这通常通过对抗训练实现，其中训练一个域判别器网络来区分合成特征和真实特征，而主模型则被训练来欺骗这个判别器，从而学习域不变特征[10]。其他方法侧重于图像到图像转换技术，使用生成对抗网络（GAN），如CycleGAN，在合成图像用于训练之前将其转换为看起来更真实[11]。

与这些通常需要复杂训练流程或架构修改的方法不同，域随机化提供了一种更直接的方法[12][13][14]，旨在训练模型在具有足够可变性的合成数据上，使得真实世界仅仅表现为另一种变体。本文侧重于后一种方法，特别是利用数据增强作为一种域随机化形式。这种方法计算效率高，并且训练期间不需要访问未标记的真实世界数据，使其适用于像Kaggle竞赛中所应对的挑战。

本项目利用YOLO架构的坚实基础，并探索实用的数据增强策略作为一种域随机化形式，以改进特定目标检测任务的合成到真实迁移。

III 方法

本项目采用的方法侧重于在合成数据集上训练YOLOv11 [4]模型，并评估不同的方法以最大化其在未见过的真实世界图像上检测汤罐头的特定任务的性能。

III-A 目标检测模型：YOLOv11

YOLOv11模型使用在COCO数据集上预训练的权重进行初始化，以利用从大规模真实世界数据集学习到的特征[6]。YOLOv11由Ultralytics [4]开发并于2024年发布，它在YOLOv8的基础上旨在进一步优化速度、准确性和计算效率之间的平衡。

与YOLOv8相比，Khanam等人[15]总结的YOLOv11的关键架构变化包括：

• C3K2块：C3/CSP（跨阶段部分）的演进，提高了特征提取效率。

• SPPF（空间金字塔池化-快速）：针对速度优化的实现，同时通过在多尺度上池化特征来有效捕获上下文。

• C2PSA（带并行空间注意力的卷积块）：集成注意力机制，使网络能够聚焦于特征图内最相关的区域。

• 精炼的骨干网络/颈部网络：底层特征提取器和融合网络可能包含了这些新块，以改进信息流和传递给检测头的特征图质量。

YOLOv11架构的图示见图2。

图2：​ YOLOv11具有精炼的架构，包含先进的C3k2块、SPPF和C2PSA模块，显著增强了多尺度特征提取和空间注意力，从而提高了检测精度。

III-B 合成数据集

用于训练和验证的数据集完全由合成生成的图像及其对应的YOLO格式边界框标签组成，用于单个物体类别：汤罐头。由Duality AI软件为Kaggle挑战[3]生成的基础数据集仅包含简单场景。认识到数据量和多样性对于模拟到真实迁移的重要性[17]，使用了来自Duality AI的额外数据集。最终的数据集包含1,368张图像，在背景、相机距离、光照以及是否存在家具或植物方面存在变化。

为了进一步增加数据集多样性并使模型适应复杂的真实世界场景（包括目标物体可能出现在杂乱场景中或背景中没有目标物体的情况），引入了一个额外的合成数据集，包含738张包含不同物体但没有汤罐头的图像。这些图像包含空标签，因为不存在边界框目标。为了有效训练模型即使在这些多样且可能杂乱的场景中也能检测目标汤罐头，采用了Mixup和Mosaic等数据增强技术，这些技术允许在训练期间将包含汤罐头的图像与杂乱场景的图像组合。图3展示了Mixup和Mosaic技术的应用。

请参阅图注

(a)​ 无罐头的合成图像

请参阅图注

(b)​ 有罐头的合成图像

请参阅图注

(c)​ 对图像(a)和(b)应用Mixup技术

请参阅图注

(d)​ 对另一组四张图像应用Mosaic技术

图3：​ (a) 无目标物体的原始复杂场景, (b) 有目标物体的原始简单场景, (c) 应用混合增强将汤罐头图像引入复杂场景后的场景, (d) 应用Mosaic增强组合四张样本图像后的场景。

总计，用于大多数实验的主要合成数据集包含2106张图像和相应的标签文件（1368张有汤罐头，738张没有）。另一组159张真实世界图像仅用于测试，遵循Kaggle竞赛指南[3]。

III-C 数据清理

在训练之前，验证了合成数据集的完整性和质量。实施了一个数据清理过程，以视觉检查每张图像及其相关的标签文件。这涉及开发一个自定义脚本，根据YOLO标签文件可视化带有对应边界框的图像。这使得能够识别并删除缺少标签文件、注释不正确或其他可能对训练性能产生负面影响的不一致性的图像。鉴于合成数据生成的自动化性质可能引入错误，此步骤尤为重要。

III-D 训练和评估策略

探索了几种训练和评估策略，以开发最健壮的模拟到真实迁移模型。实施了众所周知的K折交叉验证技术，以获得合成域内模型性能的更可靠估计，并评估不同配置的稳健性。在这种情况下，最初的五个预定义数据集变体自然充当了折叠。对于每个折叠，将四个变体组合用于训练，剩余一个用于验证。对五个实验模型配置重复此过程，总共产生25个训练模型。这种交叉验证方法旨在提供关于不同模型配置和数据增强策略在各种合成数据分布上表现的无偏评估。

根据从交叉验证分析中获得的见解，使用标准的80%训练/20%验证分割，在整个组合数据集（1,368张图像）上训练实验的设置。

在对测试集的预测进行定性评估之后，从显著距离渲染的图像子数据集似乎引入了挑战或伪影，这些伪影对真实测试集的代表性较差。因此，还训练了排除此特定变体的分割上的模型，以研究其影响。

为了进一步训练一个对复杂、杂乱的现实环境具有鲁棒性的模型，使用了扩展的2106张图像的数据集，以及Mosaic和Mixup等高级数据增强方法，将汤罐头添加到杂乱的场景中。通过测试集上的评估来评估这些技术的有效性。

最后，认识到模型规模的潜在好处，除了小型（YOLOv11s）架构外，还使用YOLOv11的中型（YOLOv11m）和大型（YOLOv11l）架构训练了实验期间找到的性能最佳配置。

III-E 模型配置和数据增强

训练了不同的模型配置，主要是通过改变训练期间应用的数据增强。从预训练的YOLOv11s权重开始，探索的配置包括：

• 基线：使用Ultralytics框架提供的标准默认增强集进行训练。

• 增强视觉：旨在增加视觉可变性的额外增强，例如透视变换和混合。

• 增强颜色：更强的颜色抖动增强，以模拟光照和颜色的更广泛变化。

• 增强几何：更显著的几何变换（旋转、平移、尺度范围），以增强对视角和尺度变化的鲁棒性。

• 增强全部：多种增强策略的组合，以利用其潜在的累积效应。

针对每种配置监控了验证指标，如mAP50、mAP50-95、精确度、召回率以及各种损失分量。根据观察到的训练动态和可用资源，仔细选择和调整了学习率和训练周期数。

IV 实验与结果

进行了以下实验，以评估不同数据增强配置和数据集组合对YOLOv11性能及其对真实世界测试图像泛化能力的影响。训练好的模型根据用于训练的数据集和策略进行分组。

IV-A 在原始合成数据集上的初始5折交叉验证

初始实验涉及使用5折交叉验证方法在原始合成数据集（1368张图像）上训练YOLOv11s模型，以提供模型在不同合成分布上性能的无偏估计，并评估五个预定义模型配置的有效性。这些模型训练了10个周期，批量大小为16，初始学习率为0.01，最终学习率比率为0.01，以便仅根据数据增强方法的变化快速评估性能。这些配置在各折叠上获得的平均验证指标如表I所示。

表I：​ 5折交叉验证中使用的每种配置的平均指标（1368张图像，10个周期）。

如表I所示，所有初始增强配置的合成验证性能，特别是mAP@50都很高（0.98-0.99），表明在合成域内有效学习。然而，损失的变化表明了训练动态的差异和潜在的鲁棒性。决定训练更多周期并降低学习率以帮助模型收敛，同时数据增强方法的值也有所变化。

IV-B 80/20分割训练和定性真实世界评估

在初始交叉验证之后，使用标准的80%训练和20%验证分割在原始合成数据集（1368张图像）上训练模型。超参数更新为20个周期和初始学习率0.0001，同时根据模型在测试集上性能的视觉观察更新了数据增强值。鉴于弥合域差距的挑战，仅依靠合成验证指标是不够的。因此，通过视觉检查训练模型在真实测试集上的预测结果进行定性评估，因为官方标签不可用。这种定性评估对于识别哪些配置产生更少的误报、更好的定位和更一致的检测至关重要。

在评估期间，检测到具有高置信度得分的误报，这些误报与包含从显著距离渲染的图像子数据集中的物体相似。因此，在其他模型上训练了排除此特定变体的分割，以研究其影响。表II比较了基于合成验证指标，在包含和不包含远距离相机渲染的80/20分割数据集上训练的模型。

表II：​ 在包含和不包含远距离相机子集的80/20分割上训练的模型比较

虽然合成验证指标（表II）仅显示微小差异，但从训练数据中排除远距离相机子集的决定主要是基于在真实世界数据定性评估中观察到的误报显著减少。图4比较了在相同真实图像上，来自训练数据中包含和不包含远距离相机变体的模型的预测结果，直观展示了其对误报的影响。

请参阅图注

(a)​ 训练数据集中包含相机距离变体的模型的预测。

请参阅图注

(b)​ 训练数据集中不包含相机距离变体的模型的预测。

图4：​ 模型对真实世界测试图像预测的定性比较。(a) 训练数据中包含远距离相机变体的模型的预测，显示了一个误报检测。(b) 训练数据中排除远距离相机变体的模型的预测，显示没有误报。

IV-C 在扩展数据集上使用高级增强的5折交叉验证

为了进一步训练一个对复杂、杂乱环境具有鲁棒性的模型，使用了一个包含无目标物体场景的扩展数据集，以及Mosaic和Mixup等高级数据增强方法。为了评估不同增强配置在这个更大数据集上的性能，进行了第二次5折交叉验证。结果如表III所示。

表III：​ 在扩展数据集（2106张图像）上第二次5折交叉验证中每种配置的平均指标

表III中的结果显示，在扩展数据集上，各种增强配置的mAP@50始终很高，与初始CV相似。比较表I（原始数据集，10个周期）和表III（扩展数据集，20个周期，不同的分割策略）可以看出，mAP@50保持高位，而总体损失显著降低，这表明使用扩展数据集和更长的训练时间取得了积极结果。

IV-D 在扩展数据集上使用高级增强进行训练

然后使用在实验期间取得最佳结果的两种数据增强配置训练模型，为简单起见，以下分别称为“A”和“B”。配置A代表一种全面的增强策略，包括几何（旋转、平移、缩放）、颜色空间（HSV）和组合方法（Mosaic, Mixup），而配置B使用相同的技术，但没有Mosaic且参数值不同。

为了评估所有先前提出的改进的影响，在包含和不包含相机距离的分割数据集上训练它们，然后添加没有汤罐头的扩展数据集。认识到模型规模的潜在好处，所有变体也在大型（YOLOv11l）架构上进行了训练。为了估计在隐藏的真实测试集上的mAP@50，手动注释了测试集图像，为模型的性能提供了有价值的初步见解。表IV总结了在不同训练数据集组合、模型规模和数据增强配置下性能最佳的模型。它包括使用合成验证集计算的mAP@50以及在手动注释的真实测试集上获得的mAP@50分数，说明了合成性能与真实世界性能之间的相关性。

表IV：​ 根据真实数据测试集计算的mAP@50，比较不同数据集组合、模型规模和数据增强配置下性能最佳的模型

正如预期的那样，合成验证集的mAP@50分数与真实世界测试集上的分数存在显著差异，表明了域差距。值得注意的是，实现最高性能的配置是A，它应用了Ultralytics提供的所有可用数据增强方法。正如预期，使用大型模型和扩展数据集对性能有益。在手动注释的测试集上获得高mAP@50的模型和相应的预测被选择正式提交到竞赛平台。最终的mAP@50分数由组织者使用预测的边界框和置信度分数计算。表V总结了竞赛平台报告的真实世界测试集mAP@50分数，与先前在手动标记的测试集上计算的分数进行了比较。

表V：​ 竞赛组织计算的性能最佳模型的mAP@50比较

在评估结果之前，理解挑战的主要指标很重要。mAP@50代表交并比（IoU）阈值为50%时的平均精度。精度衡量模型阳性预测的准确性，而IoU决定检测到的边界框是真阳性还是假阳性。如果预测边界框与真实边界框的重叠度大于50%，则预测被视为真阳性，否则为假阳性。

最佳真实世界测试集mAP@50分数是0.910。这是由在包含相机距离的分割数据集上并添加了扩展数据集、使用配置A进行数据增强训练的YOLOv11l模型实现的。扩展数据集的添加对包含来自其他类别的多个物体的复杂真实测试环境中的预测有积极贡献。尽管认为排除相机距离变体会对模型有积极贡献，但考虑到可用数据集的受限和小尺寸，向模型提供物体更多样化的视角被证明是至关重要的。

需要注意的是，在我们手动注释的标签上计算的mAP@50分数与竞赛提供的官方分数之间存在差异。前者被用作估计工具，以克服评估模拟到真实差距的挑战，因为仅凭验证无助于分析真实世界性能。此外，用于计算mAP@50的方法与竞赛的方法不同，后者的方法论未公开。

图5展示了在扩展数据集上使用强增强策略训练的YOLOv11l的训练和验证指标曲线。曲线显示随着训练进行，损失下降，mAP@50等指标上升，表明模型收敛和验证集性能提高。

图5：​ 在扩展数据集上训练的最终性能最佳YOLOv11l模型的训练和验证损失及指标曲线。

请参阅图注

图6展示了最终性能最佳模型在真实测试集上成功检测的视觉示例和常见失败案例（例如当物体仅部分可见时置信度得分低），为了解其性能特征提供了见解。

图6：​ 最终性能最佳模型在多样真实世界测试图像上预测的标签批次。

请参阅图注

V 讨论

本项目旨在通过Kaggle竞赛[3]的框架，解决目标检测中的合成到真实域差距问题。其核心策略是仅使用合成数据训练YOLOv11模型，并辅以域随机化技术（主要通过数据增强实现）。

从合成数据集上的平均交叉验证性能（表I）可以明显看出，所有探索的数据增强策略在合成验证集上的mAP@50分数均持续保持高位（0.98-0.99）。这表明无论采用何种特定的增强方案，模型都能在合成域内实现高精度识别。然而，尽管合成验证分数表现优异，但其与模型在真实数据上的实际性能之间的关系却较为复杂。由于固有的域差距（domain gap），仅凭合成验证数据的高性能并不足以预测模型在真实世界数据上的表现。真实测试集呈现的复杂环境及其包含的多样变化，未能被合成数据完美捕捉。

此外，损失指标的变化表明，不同的增强策略和超参数影响了训练动态，并可能对模型的泛化能力产生影响。整体趋势显示，延长训练时间和降低学习率有助于提升收敛稳定性，而域随机化的效果则需要进一步分析。

为弥补初始合成数据集的局限性，项目采用了迭代优化策略以提升场景复杂度和视觉多样性。具体措施包括：扩展数据集以纳入不含目标物体的图像；运用组合式增强技术（如Mixup和Mosaic）创建更丰富的训练样本。这些技术的有效性通过实证确定：训练不同模型后，分析其在真实测试集上的预测表现，以此指导后续优化方向。这一在缺乏官方测试标签条件下建立的反馈循环，被证明对调整域随机化策略至关重要。例如，该过程揭示：在扩展数据集上应用Mixup和Mosaic的配置，在杂乱场景中展现出卓越的鲁棒性；而过度激进的几何增强则可能导致定位偏差，这有助于找到提升检测准确性的平衡点。

值得注意的是，对测试集预测结果的视觉检查最初表明，远距离视角渲染的合成图像会损害模型泛化能力，导致误检率上升（见图4）。基于该观察，部分训练实验排除了该数据变体以探究其影响。然而，真实测试集的最终定量结果显示：在包含远视角的扩展数据集上训练的模型，获得了竞赛方计算的最高mAP@50分数。这表明尽管远视角数据可能引发初期误检，但将物体的多样化视角纳入训练集，最终通过提升训练数据的整体多样性，积极增强了模型在更广泛真实场景中的泛化能力。

在真实测试集上取得最高mAP@50（0.910）的配置，是通过结合扩展的多样化合成数据集与精心调校的增强策略实现的，这印证了域随机化策略在模拟到真实任务中的有效性。尽管许多先进方法采用复杂技术（如对抗域适应[10][12]或基于GAN的图像转换[11]），本研究结果证明：针对特定问题，更简洁的方法同样有效。研究发现，策略性地扩展合成数据集的多样性（如增加多视角样本和负样本），其效果超越任何单一增强技术。这表明聚焦合成数据的质量与多样性，可在避免复杂模型架构或困难训练流程的前提下，实现良好的真实场景性能。

然而，研究也凸显了现存挑战。合成数据未能充分模拟的因素可能导致真实测试集上的漏检或误检。未来的模拟到真实迁移策略可从以下方向受益：生成更逼真多样的合成数据（包含杂乱场景和遮挡）；整合先进域适应技术；探索缩减合成与真实数据分布差异的新方法。

VI 结论

本项目探索了仅使用合成数据和域随机化策略（以数据增强为主），训练针对特定物体（汤罐头）的鲁棒目标检测模型，并在未见过的真实图像上实现高性能的可行性。基于YOLOv11架构，研究探索并评估了多种数据增强配置，初期通过合成数据集交叉验证，后续通过真实测试集定性评估。

尽管不同增强策略下的合成验证指标（尤其是mAP@50）持续表现优异，但由于模拟到真实的域差距，这些指标本身不足以预测真实场景性能。因此，研究采用视觉检查进行定性评估，并在官方标签受限的情况下，通过手动标注实现定量评估，这对评估模型在真实数据上的性能构成额外挑战。

提升真实场景泛化能力的关键在于：扩展合成数据集以包含更复杂的背景，并基于对真实图像预测的实证观察和定性分析，精细调整数据增强参数。

在真实测试集上取得最高性能（mAP@50=0.910）的配置，是采用YOLOv11l模型，在扩展合成数据集上训练，并融合视觉、几何及组合式（Mixup/Mosaic）增强策略的结果。这证明：通过精心调校的数据增强实现域随机化，即使不依赖真实训练数据，也能成为弥合合成到真实差距的有效策略。

然而，所达成的分数也凸显了仅靠此方法完全消除域差距的挑战。未来工作可探索：生成能更好捕捉真实世界全复杂度与多变性的合成数据；研究更先进的域适应技术。

在实际应用中，合成数据常与真实数据结合以弥合模拟到真实的迁移鸿沟。本次竞赛的核心挑战在于：仅使用合成数据达成这一目标。