学习率调度器 (Learning Rate Scheduler)

🧠 深度学习中的 Scheduler

在深度学习训练中，Scheduler 通常指的是学习率调度器 (Learning Rate Scheduler)。

学习率调度器 (Learning Rate Scheduler)

• 作用： 是一种在训练过程中动态调整优化器学习率的策略或算法。
• 背景： 在深度学习训练中，固定的学习率（Learning Rate, LR）往往不是最优的：
  • 训练初期使用较大的 LR 可以加速收敛。
  • 训练后期使用较小的 LR 可以让模型更精细地收敛到损失函数的局部最优解，避免震荡。
• 目的： 优化训练过程，帮助模型更快、更稳定地收敛到更好的结果。

常见的学习率调度策略：

1. 步长衰减 (Step Decay)： 每隔固定的 epoch 或 steps，学习率乘以一个固定的衰减因子
2. 余弦退火 (Cosine Annealing)： 学习率按照余弦函数曲线周期性地从高值变化到低值，这通常被认为能带来更好的性能。
3. 指数衰减 (Exponential Decay)： 学习率随着时间或步数呈指数下降。
4. 按指标调整 (ReduceLROnPlateau)： 当监控的指标（如验证集损失）连续几次停止改善时，才降低学习率。
   学习率调度器，它是一种动态调整学习率以优化训练过程的技术。