CVPR 2026 · DATASET · MARINE MULTIMODAL VISION海上风雨雾夜全覆盖MMVIP 让红外-可见光融合驶向真实海域从港口、海岸到远海从晴天、雨雾到台风MMVIP 提供了一个面向真实海上场景的可见光-红外配对基准不仅能做融合还能系统评测配准、检测与跨模态生成。128,100 张图像50 段视频序列7 类海上天气配准 / 融合 / 检测 / 生成 论文信息题目MMVIP: A Visible-infrared Paired Dataset for Multi-weather Marine Vision | MMVIP面向多天气海洋视觉的可见光-红外配对数据集作者Yunpeng Yin, Lihan Wang, Zhaoshen He, Xinqiang He, Xingming Liao, Zhuowei Wang*, Lianglun Cheng单位广东工业大学发表CVPR 2026代码https://github.com/yyppptjr/MMVIP图 1 MMVIP 数据集采集平台和七种海上的天气情况。 导读为什么海上视觉比陆地上的要难呢红外和可见光图像融合在道路、监控、低光增强等领域已经得到广泛应用但是当它进入到海面环境时就会变得更为复杂。海面反光、盐雾、强风、雨雾、夜间低照度、远距离小目标、平台抖动等等都会使可见光图像的纹理变得模糊也会使红外图像中目标的轮廓变淡。更重要的是红外和可见光要想真正互补的话那么二者之间就必须得有很好的对齐。CVPR 2026 论文提出的是MMVIP就是针对这个痛点所建立起来的多天气海上红外-可见光配对数据集。除了提供大规模对齐的图像之外它还围绕着配准、融合、检测以及从可见光到红外生成建立了系统的基准从而给海上多模态感知提供了一个新的实验平台。一句话就可以看懂MMVIPMMVIP 是一个针对真实的海上多种天气条件下的可见光-红外配对数据集包含 128,100 张图片和 50 段视频序列涵盖了晴天、阴天、夜晚、下雨天、大雾天、光线较暗以及台风等不同的环境并可以进行图像配准、图像融合、目标检测以及跨模态图像生成等四项工作。数据集中最重要的数字128,100精确对齐图像50标注视频序列7代表性海上天气4核心视觉任务为什么要有一个海上的红外和可见光的数据集呢以前用得比较多的红外-可见光数据集比如 TNO、RoadScene、MSRS、LLVIP 等主要是针对城市道路、行人监控或者陆地场景。这些数据集对于图像融合的研究很有帮助但是不能很好地反映真实的海面环境。海上场景的困难是背景大范围低纹理目标一般比较远、尺寸很小海面反光以及天气干扰都会使视觉效果不断变化。对于配准算法而言缺少稳定的特征点对于融合算法而言在突出红外目标和保留可见光纹理之间容易失去平衡。论文中提到目前的海上可见光-红外数据集要么没有进行精确对齐要么没有包含真实的复杂天气情况因此不能用作红外-可见光融合、配准以及海上感知算法的统一测试平台。图2 MMVIP和现有的可见光-红外海面数据集进行比较。数据是如何采集到的多平台光电吊舱精准时空对齐MMVIP 采集设备有长距、中距光电吊舱和 DJI Matrice 4 机载长焦吊舱。设备中红外热成像相机和可见光相机采用固定安装的方式以尽量减小跨平台采集误差。数据覆盖港口、海岸以及远洋场景天气为晴天Cloudy 阴天夜晚晚上Rainy 天气Foggy 雾天弱光、低照度台风、飓风这就意味着MMVIP并不是单纯地搜集一些可见光、红外的例子而是在真实的海面感知中考虑复杂的天气条件、不同的视角以及复杂的海况来构建一个可以用来对算法进行测试的数据基础。 不是大而是对齐对于红外-可见光融合而言配对数据的价值不仅仅在于数量上还在于是否能够准确地进行配对。如果源图像有空间错位的话那么融合的结果就会出现重影、边缘错位、目标模糊等现象。MMVIP 的过程是相机内参标定、双目外参标定和单应性矩阵估计。对于海面低纹理、低对比度区域特征稀少的情况本文用MINIMA进行跨模态特征匹配并且用人工辅助校正、RANSAC和最小二乘优化来得到不同的场景下单应性矩阵。简单理解MMVIP 并不是认为所有的海上场景都可以用同一个固定的变换来解决而是针对不同的代表性场景做自适应单应性标定使海平线、船体轮廓等重要的部分尽量保持一致。这一步就决定了数据集是否可以用来做图像融合以及跨模态视觉的任务。图 3 MMVIP 支持的数据集构建、配准、融合、检测和图像翻译的任务。 MMVIP 可以完成哪些任务01 图像配准对不同的跨模态匹配算法在海上的低纹理、低对比度、多种天气条件下的空间对齐能力进行评价。02 图像融合评估融合的方法能否同时保持可见光纹理、突出红外目标并且适用于复杂的海面环境。03 目标检测针对船只、浮标等海上目标在多种天气和海况下对各种模式进行检测。04 图像到图像翻译使用精确对齐的可见光和红外图像来检验可见光到红外生成方法在海上的泛化能力。 实验一海上的跨模态配准仍然很困难论文对九种代表性的跨模态图像匹配算法进行了评价其中包括XoFTR、ELoFTR、RoMa、JamMa、CasP、RDD、RDD*和两个基于MINIMA微调版本。从定性的角度来看在船体、海岸线以及低光雾天的地方各种方法的配准效果差别很大。低纹理海面、低对比度天气会使很多方法都出现性能下降的情况。**实验观察**密集匹配方法总体上比稀疏、半稠密的方法好但是它的计算时间也较长。MINIMARoMa 在各个方面的表现都比较优秀但是轻量化的方案在速度和性能方面还有待提高。这也表明海上红外-可见光配准并不是一个已经解决的前置步骤在未来的海上多模态感知中仍然需要继续研究。图4为各种跨模态配准方法在不同的天气情况下的可视化的定量的结果。 实验二图像融合目标显著性和纹理细节不能同时满足在图像融合的任务里本文对EMMA、Text-IF、CAF、DCEvo、SAGE、LUT-Fuse、TG-ECNet、RFfusion、GIFNet和TDFusion这十种红外-可见光融合的方法进行了评价。海上场景中可见光图像容易受到强反光、波浪扰动以及大气散射的影响而出现边沿模糊、对比度降低的情况而红外图像虽然可以很好地凸显出热目标但是缺乏丰富的纹理和空间细节。论文中一个重要的现象是DCEvo、LUT-Fuse、TDFusion等方法主要利用红外信息目标更加明显但是会丢失船体纹理RFfusion、TG-ECNet、GIFNet等方法侧重于可见光细节但是对于远处或者低照度的目标突出效果不好。换言之在真实的海上的多种天气条件下融合模型不能仅仅追求“更亮”或者“更清晰”而应该做到目标显著性、背景结构、跨模态一致性以及下游任务需求之间的平衡。图5是十种红外-可见光融合的方法在MMVIP上进行可视化的比较。 实验三在任务中可以看到可见光和红外都有自己的不足之处为了检验MMVIP在海面目标识别方面的作用本文用YOLO11作为基准在可见光和红外图像上分别进行训练和测试。实验的目标是Ship和Buoy两种类型。结果是可见光图像的整体检测效果更好在船只类别的精度和mAP方面也更高。这就表明了纹理丰富、边界清楚对于检测定位仍然有很大的作用。但是在低能见度的情况下红外可以更好地显示船只和浮标而在下雨等热对比变小的时候红外探测的效果就会变差。这就表明了海上目标检测应该充分利用多种传感器来互补而不能只依靠单一的传感器。图6可见光和红外图像在海上的船只或者浮标检测上存在的区别。 实验四从可见光到红外生成海面场景仍然存在泛化的问题在图像到图像翻译的任务上本文对 sRGB-TIR、CPSTN、DR-AVIT、MINIMA 和 ThermalGen 等方法进行了测试并用真实的红外图像做为标准。结果是目前的可见光到红外转换方法在雾天、低光、夜晚以及台风等海上的复杂情况下仍然存在严重的问题。局部伪影、虚假结构、热响应错误判断、热层次不清楚等等。另外需要注意的是海面反射、盐雾和高动态范围会让生成模型产生不可靠的热分布。未来可见光到红外生成研究需要重点解决海面杂波抑制和弱温差目标增强问题。图7可见光和红外图像转换的方法在复杂的海面环境中进行比较。这篇论文的主要贡献是贡献一创建真实的海上的大规模红外和可见光配对的数据集MMVIP 覆盖港口、海岸、远海以及七种典型的天气情况给海上多模态感知提供了一个新的数据来源。贡献二创建跨模态对齐和标定的过程为了应对海上低纹理、低对比的问题论文提出了一种多场景自适应单应性校正的方法来提升可见光和红外图像的空间一致性。贡献三创建多个任务的评价标准论文对配准、融合、检测以及跨模态生成的任务进行了系统的评测并给后续海上多模态算法提供了一个可以比较的实验基础。 简单点评这篇论文的价值并不在于提出一个新融合网络而是在于把“海上红外-可见光多模态感知”这一长期以来缺少统一数据标准的问题向前推进了一步。对于图像融合的研究而言MMVIP的意义就更加明显了它把融合算法从相对稳定的道路场景带到了更加真实的、复杂的、不友好的海上环境中去。有反光、雾霾、下雨、光线不足、台风等还有小目标、远距离、低纹理大背景。如果未来融合的方法能够在这些数据上同时做到配准、融合以及下游检测的话那么它的实际应用价值就会更有说服力。后续还有哪些可以做的事情根据MMVIP之后至少有以下几种方向可以关注海上红外-可见光联合配准和融合不再把配准当作一个单独的预处理步骤在融合网络里显式地建模错位。2、多天气鲁棒融合根据雨雾、夜间、台风等不同的退化情况来设计可以自动调整模态权重的融合方式。3、融合和下游任务闭环用检测、跟踪、分割等任务的反馈来指导融合的结果而不能仅仅依靠传统的没有参照的标准。4. 海上可见光到红外生成主要解决海面杂波、弱热目标以及恶劣天气条件下热分布建模的问题。 总结MMVIP 的出现使得海上多模态视觉研究有了一个更加接近真实环境的红外-可见光配对标准。它可以涵盖多种天气、多种平台、多种场景并且具有严格的时间和空间对齐从而给配准、融合、检测以及图像翻译提供一个统一的评价平台。对于红外-可见光图像融合的研究而言这样的数据集意义十分明显未来的算法不能仅仅在道路场景下追求好的结果在真实的海上环境中也要考虑到反光、雾霾、低光、小目标以及复杂的海况问题。从这个角度来说MMVIP 不仅仅是一个数据集更像一个新挑战的入口海上多模态感知才刚刚开始系统化。往期推荐 CVPR 2026 | MMVIP：一个全新的红外与可见光融合数据集，面向真实海域场景
CVPR 2026 · DATASET · MARINE MULTIMODAL VISION海上风雨雾夜全覆盖MMVIP 让红外-可见光融合驶向真实海域从港口、海岸到远海从晴天、雨雾到台风MMVIP 提供了一个面向真实海上场景的可见光-红外配对基准不仅能做融合还能系统评测配准、检测与跨模态生成。128,100 张图像50 段视频序列7 类海上天气配准 / 融合 / 检测 / 生成 论文信息题目MMVIP: A Visible-infrared Paired Dataset for Multi-weather Marine Vision | MMVIP面向多天气海洋视觉的可见光-红外配对数据集作者Yunpeng Yin, Lihan Wang, Zhaoshen He, Xinqiang He, Xingming Liao, Zhuowei Wang*, Lianglun Cheng单位广东工业大学发表CVPR 2026代码https://github.com/yyppptjr/MMVIP图 1 MMVIP 数据集采集平台和七种海上的天气情况。 导读为什么海上视觉比陆地上的要难呢红外和可见光图像融合在道路、监控、低光增强等领域已经得到广泛应用但是当它进入到海面环境时就会变得更为复杂。海面反光、盐雾、强风、雨雾、夜间低照度、远距离小目标、平台抖动等等都会使可见光图像的纹理变得模糊也会使红外图像中目标的轮廓变淡。更重要的是红外和可见光要想真正互补的话那么二者之间就必须得有很好的对齐。CVPR 2026 论文提出的是MMVIP就是针对这个痛点所建立起来的多天气海上红外-可见光配对数据集。除了提供大规模对齐的图像之外它还围绕着配准、融合、检测以及从可见光到红外生成建立了系统的基准从而给海上多模态感知提供了一个新的实验平台。一句话就可以看懂MMVIPMMVIP 是一个针对真实的海上多种天气条件下的可见光-红外配对数据集包含 128,100 张图片和 50 段视频序列涵盖了晴天、阴天、夜晚、下雨天、大雾天、光线较暗以及台风等不同的环境并可以进行图像配准、图像融合、目标检测以及跨模态图像生成等四项工作。数据集中最重要的数字128,100精确对齐图像50标注视频序列7代表性海上天气4核心视觉任务为什么要有一个海上的红外和可见光的数据集呢以前用得比较多的红外-可见光数据集比如 TNO、RoadScene、MSRS、LLVIP 等主要是针对城市道路、行人监控或者陆地场景。这些数据集对于图像融合的研究很有帮助但是不能很好地反映真实的海面环境。海上场景的困难是背景大范围低纹理目标一般比较远、尺寸很小海面反光以及天气干扰都会使视觉效果不断变化。对于配准算法而言缺少稳定的特征点对于融合算法而言在突出红外目标和保留可见光纹理之间容易失去平衡。论文中提到目前的海上可见光-红外数据集要么没有进行精确对齐要么没有包含真实的复杂天气情况因此不能用作红外-可见光融合、配准以及海上感知算法的统一测试平台。图2 MMVIP和现有的可见光-红外海面数据集进行比较。数据是如何采集到的多平台光电吊舱精准时空对齐MMVIP 采集设备有长距、中距光电吊舱和 DJI Matrice 4 机载长焦吊舱。设备中红外热成像相机和可见光相机采用固定安装的方式以尽量减小跨平台采集误差。数据覆盖港口、海岸以及远洋场景天气为晴天Cloudy 阴天夜晚晚上Rainy 天气Foggy 雾天弱光、低照度台风、飓风这就意味着MMVIP并不是单纯地搜集一些可见光、红外的例子而是在真实的海面感知中考虑复杂的天气条件、不同的视角以及复杂的海况来构建一个可以用来对算法进行测试的数据基础。 不是大而是对齐对于红外-可见光融合而言配对数据的价值不仅仅在于数量上还在于是否能够准确地进行配对。如果源图像有空间错位的话那么融合的结果就会出现重影、边缘错位、目标模糊等现象。MMVIP 的过程是相机内参标定、双目外参标定和单应性矩阵估计。对于海面低纹理、低对比度区域特征稀少的情况本文用MINIMA进行跨模态特征匹配并且用人工辅助校正、RANSAC和最小二乘优化来得到不同的场景下单应性矩阵。简单理解MMVIP 并不是认为所有的海上场景都可以用同一个固定的变换来解决而是针对不同的代表性场景做自适应单应性标定使海平线、船体轮廓等重要的部分尽量保持一致。这一步就决定了数据集是否可以用来做图像融合以及跨模态视觉的任务。图 3 MMVIP 支持的数据集构建、配准、融合、检测和图像翻译的任务。 MMVIP 可以完成哪些任务01 图像配准对不同的跨模态匹配算法在海上的低纹理、低对比度、多种天气条件下的空间对齐能力进行评价。02 图像融合评估融合的方法能否同时保持可见光纹理、突出红外目标并且适用于复杂的海面环境。03 目标检测针对船只、浮标等海上目标在多种天气和海况下对各种模式进行检测。04 图像到图像翻译使用精确对齐的可见光和红外图像来检验可见光到红外生成方法在海上的泛化能力。 实验一海上的跨模态配准仍然很困难论文对九种代表性的跨模态图像匹配算法进行了评价其中包括XoFTR、ELoFTR、RoMa、JamMa、CasP、RDD、RDD*和两个基于MINIMA微调版本。从定性的角度来看在船体、海岸线以及低光雾天的地方各种方法的配准效果差别很大。低纹理海面、低对比度天气会使很多方法都出现性能下降的情况。**实验观察**密集匹配方法总体上比稀疏、半稠密的方法好但是它的计算时间也较长。MINIMARoMa 在各个方面的表现都比较优秀但是轻量化的方案在速度和性能方面还有待提高。这也表明海上红外-可见光配准并不是一个已经解决的前置步骤在未来的海上多模态感知中仍然需要继续研究。图4为各种跨模态配准方法在不同的天气情况下的可视化的定量的结果。 实验二图像融合目标显著性和纹理细节不能同时满足在图像融合的任务里本文对EMMA、Text-IF、CAF、DCEvo、SAGE、LUT-Fuse、TG-ECNet、RFfusion、GIFNet和TDFusion这十种红外-可见光融合的方法进行了评价。海上场景中可见光图像容易受到强反光、波浪扰动以及大气散射的影响而出现边沿模糊、对比度降低的情况而红外图像虽然可以很好地凸显出热目标但是缺乏丰富的纹理和空间细节。论文中一个重要的现象是DCEvo、LUT-Fuse、TDFusion等方法主要利用红外信息目标更加明显但是会丢失船体纹理RFfusion、TG-ECNet、GIFNet等方法侧重于可见光细节但是对于远处或者低照度的目标突出效果不好。换言之在真实的海上的多种天气条件下融合模型不能仅仅追求“更亮”或者“更清晰”而应该做到目标显著性、背景结构、跨模态一致性以及下游任务需求之间的平衡。图5是十种红外-可见光融合的方法在MMVIP上进行可视化的比较。 实验三在任务中可以看到可见光和红外都有自己的不足之处为了检验MMVIP在海面目标识别方面的作用本文用YOLO11作为基准在可见光和红外图像上分别进行训练和测试。实验的目标是Ship和Buoy两种类型。结果是可见光图像的整体检测效果更好在船只类别的精度和mAP方面也更高。这就表明了纹理丰富、边界清楚对于检测定位仍然有很大的作用。但是在低能见度的情况下红外可以更好地显示船只和浮标而在下雨等热对比变小的时候红外探测的效果就会变差。这就表明了海上目标检测应该充分利用多种传感器来互补而不能只依靠单一的传感器。图6可见光和红外图像在海上的船只或者浮标检测上存在的区别。 实验四从可见光到红外生成海面场景仍然存在泛化的问题在图像到图像翻译的任务上本文对 sRGB-TIR、CPSTN、DR-AVIT、MINIMA 和 ThermalGen 等方法进行了测试并用真实的红外图像做为标准。结果是目前的可见光到红外转换方法在雾天、低光、夜晚以及台风等海上的复杂情况下仍然存在严重的问题。局部伪影、虚假结构、热响应错误判断、热层次不清楚等等。另外需要注意的是海面反射、盐雾和高动态范围会让生成模型产生不可靠的热分布。未来可见光到红外生成研究需要重点解决海面杂波抑制和弱温差目标增强问题。图7可见光和红外图像转换的方法在复杂的海面环境中进行比较。这篇论文的主要贡献是贡献一创建真实的海上的大规模红外和可见光配对的数据集MMVIP 覆盖港口、海岸、远海以及七种典型的天气情况给海上多模态感知提供了一个新的数据来源。贡献二创建跨模态对齐和标定的过程为了应对海上低纹理、低对比的问题论文提出了一种多场景自适应单应性校正的方法来提升可见光和红外图像的空间一致性。贡献三创建多个任务的评价标准论文对配准、融合、检测以及跨模态生成的任务进行了系统的评测并给后续海上多模态算法提供了一个可以比较的实验基础。 简单点评这篇论文的价值并不在于提出一个新融合网络而是在于把“海上红外-可见光多模态感知”这一长期以来缺少统一数据标准的问题向前推进了一步。对于图像融合的研究而言MMVIP的意义就更加明显了它把融合算法从相对稳定的道路场景带到了更加真实的、复杂的、不友好的海上环境中去。有反光、雾霾、下雨、光线不足、台风等还有小目标、远距离、低纹理大背景。如果未来融合的方法能够在这些数据上同时做到配准、融合以及下游检测的话那么它的实际应用价值就会更有说服力。后续还有哪些可以做的事情根据MMVIP之后至少有以下几种方向可以关注海上红外-可见光联合配准和融合不再把配准当作一个单独的预处理步骤在融合网络里显式地建模错位。2、多天气鲁棒融合根据雨雾、夜间、台风等不同的退化情况来设计可以自动调整模态权重的融合方式。3、融合和下游任务闭环用检测、跟踪、分割等任务的反馈来指导融合的结果而不能仅仅依靠传统的没有参照的标准。4. 海上可见光到红外生成主要解决海面杂波、弱热目标以及恶劣天气条件下热分布建模的问题。 总结MMVIP 的出现使得海上多模态视觉研究有了一个更加接近真实环境的红外-可见光配对标准。它可以涵盖多种天气、多种平台、多种场景并且具有严格的时间和空间对齐从而给配准、融合、检测以及图像翻译提供一个统一的评价平台。对于红外-可见光图像融合的研究而言这样的数据集意义十分明显未来的算法不能仅仅在道路场景下追求好的结果在真实的海上环境中也要考虑到反光、雾霾、低光、小目标以及复杂的海况问题。从这个角度来说MMVIP 不仅仅是一个数据集更像一个新挑战的入口海上多模态感知才刚刚开始系统化。往期推荐