SLER-IR：基于球形分层专家路由的全能图像修复框架
1. 项目概述：全能图像修复框架SLER-IR
在计算机视觉领域，图像修复一直是个既基础又极具挑战性的任务。想象一下，当你翻出老照片时发现它们已经泛黄模糊，或是雨天用手机拍摄的风景照布满雨痕——这些常见的图像退化问题正是SLER-IR要解决的。传统方法通常像专科医生一样，每个模型只擅长处理一种特定退化（去噪、去雨、去雾等），而现实中的图像退化往往像疑难杂症，多种问题同时存在且相互影响。
SLER-IR的创新之处在于它像一位全科医生，通过独特的"球形分层专家路由"机制，动态组合不同专家的能力来处理复合退化。其核心突破体现在三个维度：
- 将退化表征映射到超球面空间，解决了传统线性嵌入的几何偏差问题；
- 通过全局-局部粒度融合(GLGF)模块，同时捕捉图像的整体语义和局部退化特征；
- 采用两阶段路由策略（概率路由+确定路由），在保持推理效率的同时实现专家组合的指数级多样性。
2. 核心技术解析
2.1 球形分层专家路由机制
传统混合专家(MoE)方法面临两个关键瓶颈：专家选择不够精准，以及不同退化类型在表征空间中的距离不一致。这就好比用同一把尺子测量不同物体的温度——尺度本身就不合理。SLER-IR的创新解决方案是将退化表征投影到超球面（单位球面）上，通过角度而非绝对距离来衡量相似性。
具体实现包含三个关键技术点：
- 超球面嵌入：对原始退化特征向量进行L2归一化，将其映射到单位超球面。这个过程类似于地球仪上的经纬度定位，消除了欧式空间中的尺度差异。
# 超球面投影公式实现示例 def spherical_projection(features): norm = torch.norm(features, p=2, dim=-1, keepdim=True) return features / (norm + 1e-6)对比学习优化：采用三元组约束的对比损失函数，使同类退化在球面上聚集，异类退化相互远离。关键技巧是引入蒙特卡洛正则化，确保专家中心在球面上均匀分布。
余弦门控机制：计算输入特征与各专家中心的余弦相似度作为路由权重，公式表示为： $$ p_{i,j} = \text{Softmax}(\frac{f_i \cdot C_j^\top}{||f_i||_2 ||C_j||_2}) $$
注意事项：超球面半径需要谨慎选择，过小会导致特征拥挤，过大会降低区分度。实验表明单位半径（r=1）在大多数场景下取得最佳平衡。
2.2 全局-局部粒度融合(GLGF)
现实中的图像退化往往具有空间不均匀性——雨线可能只出现在局部区域，雾霾浓度也可能随深度变化。SLER-IR通过GLGF模块巧妙解决了这一问题：
- 内容语义图(CSP)：使用ViT架构提取全局CLS token，通过FiLM调制校准局部patch特征：
gamma, beta = MLP(cls_token) # 生成调制参数 calibrated_patches = LayerNorm(gamma * patch_tokens + beta)退化严重度图(DSP)：将图像划分为4×4网格，分别提取每个区域的退化特征，再上采样到原分辨率。这相当于创建了"退化热力图"。
跨注意力融合：通过交叉注意力机制将内容先验与退化线索融合，公式表达为： $$ F' = \hat{T}_c + \text{Attn}(Q=\hat{T}_c, K=D, V=D) $$
实测发现，这种融合方式在雨线去除任务中可将局部PSNR提升2-3dB，尤其擅长处理雨线与背景纹理交叉的复杂场景。
3. 架构设计与实现细节
3.1 网络整体架构
SLER-IR采用经典的编码器-解码器结构，但每个标准Transformer块被替换为三个独立专家组成的模块。具体配置如下表所示：
| 组件 | 层级数 | 专家数/层 | 参数量 | 计算量(FLOPs) |
|---|---|---|---|---|
| 编码器 | 4级 | 3 | 18.7M | 23.4G |
| 解码器 | 4级 | 3 | 16.2M | 20.1G |
| 路由器 | 1级 | - | 3.5M | 1.2G |
| GLGF | 1级 | - | 2.8M | 4.7G |
训练过程分为两个阶段：
- 概率路由阶段（15epoch）：所有专家接收梯度，路由器学习退化表征
- 确定路由阶段（80epoch）：冻结路由器，仅激活最高概率专家
3.2 关键超参数设置
通过网格搜索确定的优化配置：
- 学习率：2e-4（余弦衰减）
- 批量大小：Stage1=10, Stage2=20
- 损失权重：L1=1.0, L_HC=1.0
- 专家中心数：C=3
- 嵌入维度：d=256
实操技巧：在Stage1使用梯度掩码技术，只对概率最高的专家路径回传梯度，可稳定训练过程。同时采用EMA(指数移动平均)更新专家中心，避免剧烈波动。
4. 实验分析与效果对比
4.1 定量评估
在标准五任务基准测试中，SLER-IR展现出全面优势：
| 方法 | 去雾(dB) | 去雨(dB) | 去噪(σ=25) | 去模糊 | 低光增强 | 平均 |
|---|---|---|---|---|---|---|
| Restormer | 24.09 | 34.81 | 30.67 | 27.22 | 20.41 | 27.60 |
| PromptIR | 26.54 | 36.37 | 31.31 | 28.71 | 22.68 | 29.15 |
| MoCE-IR | 30.48 | 38.04 | 31.45 | 30.05 | 23.00 | 30.58 |
| SLER-IR | 33.43 | 38.47 | 31.68 | 31.27 | 23.96 | 31.73 |
特别在去雾任务上，相比之前最佳方法提升近3dB，这得益于超球面嵌入对雾度浓度的精确建模。
4.2 消融实验
- 路由机制对比：
- 分类器路由：28.76dB
- 线性相似度路由：30.12dB
- 超球面路由：31.73dB
- 专家数量影响：
- 2专家：31.22dB
- 3专家：31.73dB
- 4专家：31.32dB
- GLGF模块有效性：
- 移除GLGF：30.64dB
- 完整模型：31.73dB
5. 应用实践指南
5.1 实际部署建议
- 硬件适配：
- 高端GPU：启用所有专家并行计算
- 边缘设备：预计算路由路径，仅加载激活专家
- 自定义退化处理：
# 添加新退化类型的示例流程 new_data = load_custom_dataset() freeze_experts() # 固定已有专家 train_router(new_data) # 仅训练路由模块5.2 常见问题排查
- 路由不稳定：
- 检查对比损失权重（推荐α=1.0）
- 验证专家中心是否均匀分布在球面（可可视化）
- 局部修复不佳：
- 增大DSP网格分辨率（牺牲计算效率）
- 在GLGF中添加更多注意力头
- 训练发散：
- 降低Stage1学习率
- 添加专家中心正交约束
在实际项目中，我们发现两个值得分享的经验：第一，在处理老旧胶片扫描件时，将退化类型标注为"复合退化"比单独标注"噪点+划痕"效果更好；第二，对于4K以上分辨率图像，采用分块处理时重叠区域应不少于128像素，避免块间伪影。
这套框架的扩展性已经在我们多个工业质检项目中得到验证，从半导体缺陷检测到古画数字化修复都展现出强大适应性。未来计划将路由机制扩展到视频修复领域，利用时序一致性进一步优化专家选择策略。