💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖
💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖
1 核心优化器分类与对比表
| 优化器 | 核心原理 | 学习率特性 | 优点 | 缺点 | 关键参数 | 典型学习率 | 适用场景 |
|---|---|---|---|---|---|---|---|
| SGD | 随机梯度下降，参数 = 参数 - lr × 梯度 | 固定全局学习率 | 简单、泛化性好、内存消耗低 | 收敛慢、易震荡、对学习率极敏感 | lr, weight_decay | 1e-2 | 数据量大、简单任务（如CNN）、追求泛化性 |
| SGD+Momentum | 引入“动量”（模拟物理惯性），参数 = 参数 - (lr×梯度 + 动量×历史更新量) |