Image-Restoration-SDE核心算法解析：IR-SDE与Refusion模型原理解析

Image-Restoration-SDE核心算法解析：IR-SDE与Refusion模型原理解析

【免费下载链接】image-restoration-sdeImage Restoration with Mean-Reverting Stochastic Differential Equations, ICML 2023. Winning solution of the NTIRE 2023 Image Shadow Removal Challenge.项目地址: https://gitcode.com/gh_mirrors/im/image-restoration-sde

Image-Restoration-SDE是基于均值回复随机微分方程（Mean-Reverting Stochastic Differential Equations）的图像恢复框架，在ICML 2023发表并获得NTIRE 2023图像去阴影挑战赛冠军。该项目通过IR-SDE和Refusion两大核心模型，实现了从降质图像到清晰图像的精准恢复，支持去模糊、去噪、去雨、去阴影等多种图像修复任务。

一、IR-SDE模型：基于随机微分方程的图像恢复

1.1 核心原理：从降质过程到恢复过程的数学建模

IR-SDE（Image Restoration with Stochastic Differential Equations）模型的创新之处在于将图像降质与恢复过程建模为双向的随机微分方程。如下图所示，左侧展示了清晰图像通过降质SDE逐渐劣化的过程，右侧则是IR-SDE模型通过反向SDE从降质图像（LQ）恢复到清晰图像（GT）的过程。

图1：IR-SDE模型的图像降质与恢复过程示意图，包含数学公式与视觉化对比

核心公式如下：

• 降质SDE：dx = θₜ(μ - x)dt + σₜdw
• 恢复SDE：dx = [θₜμ - x) - σₜ²∇ₓlogpₜ(x)]dt + σₜdẇ

其中，θₜ和σₜ分别控制过程的均值回复强度和噪声水平，μ代表清晰图像的先验信息。

1.2 模型结构：条件NAFNet与UNet的协同设计

在项目配置文件中，IR-SDE模型采用条件NAFNet作为主干网络，结合UNet架构实现噪声估计与图像重建。例如：

# codes/config/latent-bokeh/options/bokeh/test/refusion.yml model: latent_denoising network: which_model: ConditionalNAFNet # 用于噪声预测 which_model: UNet # 用于图像重建

这种双网络结构能够同时处理图像的全局结构和局部细节，在去模糊（deblurring）、超分辨率（super-resolution）等任务中表现优异。

二、Refusion模型：多任务图像修复的统一框架

2.1 任务覆盖：从去阴影到散景效果转换

Refusion模型是Image-Restoration-SDE的扩展框架，支持多种图像修复任务。从项目测试结果来看，其核心应用场景包括：

图2：Refusion模型在四大任务中的修复效果对比，从左到右依次为去阴影、立体超分辨率、散景效果转换、高分辨率去雾

• 去阴影（Shadow Removal）：精准消除图像中的阴影区域，保留原物体细节
• 立体超分辨率（Stereo Super-Resolution）：提升立体图像对的分辨率
• 散景效果转换（Bokeh Effect Transform）：模拟浅景深的模糊背景效果
• 高分辨率去雾（HR Dehazing）：去除雾霾同时保持图像清晰度

2.2 实现路径：跨场景的配置文件设计

Refusion模型通过统一的配置文件实现多任务支持。例如：

• 去雨任务配置：codes/config/deraining/options/test/refusion.yml
• 去阴影任务配置：codes/config/deshadow/options/test/refusion.yml
• 图像修复任务配置：codes/config/inpainting/options/test/refusion.yml

所有配置文件均采用model: denoising的基础设置，通过调整网络参数适配不同场景需求。

三、模型性能：四大任务的对比实验结果

3.1 去雨与超分辨率效果

在图像去雨（Image Deraining）任务中，IR-SDE模型相比JORDER、MPRNet等传统方法，能更有效去除雨丝同时保留建筑细节；在超分辨率（Image Super-Resolution）任务中，其效果超越Bicubic插值和EDSR模型，实现纹理的精准恢复。

3.2 去模糊与去噪效果

去模糊（Image Deblurring）任务中，IR-SDE模型在运动模糊场景下表现优于DeepDeblur和DeblurGAN-v2；去噪（Image Denoising）任务中，相比DnCNN和FFDNet，能更好保留图像边缘和纹理信息。

图3：IR-SDE模型在四大任务中的对比实验结果，每行从左到右依次为原始图像（GT）、降质图像（LQ）、对比方法结果、IR-SDE结果

四、快速上手：项目部署与使用

4.1 环境配置

项目依赖可通过requirements.txt安装，核心依赖包括PyTorch、OpenCV和GradIO等。

4.2 运行示例

以去雨任务为例，可通过以下命令启动Web界面：

git clone https://gitcode.com/gh_mirrors/im/image-restoration-sde cd image-restoration-sde/codes/config/deraining python app.py

程序会启动基于Gradio的交互界面（title="Image Deraining using IR-SDE"），支持上传图像并实时查看修复效果。

五、总结与应用前景

Image-Restoration-SDE通过IR-SDE和Refusion模型的创新设计，实现了数学建模与深度学习的完美结合。其优势在于：

1. 理论严谨：基于随机微分方程的图像恢复过程建模
2. 任务通用：单一框架支持多种图像修复场景
3. 效果领先：在多个国际挑战赛中取得优异成绩

未来，该项目有望在安防监控、医疗影像、卫星遥感等领域发挥重要作用，为低质量图像的高质量恢复提供强大工具。

【免费下载链接】image-restoration-sdeImage Restoration with Mean-Reverting Stochastic Differential Equations, ICML 2023. Winning solution of the NTIRE 2023 Image Shadow Removal Challenge.项目地址: https://gitcode.com/gh_mirrors/im/image-restoration-sde