L1 Loss、L2 Loss、Cross-Entropy Loss

深度学习中常用的三种主要损失函数：L1 Loss (平均绝对误差)、L2 Loss (均方误差) 和 Cross-Entropy Loss (交叉熵损失)。

这三种损失函数各有特点，并适用于不同的任务和场景。

---

1. L1 Loss (平均绝对误差 / Mean Absolute Error, MAE)

📐 公式

✨ 特点与用途

特点	描述
导数	导数是常数（在 0 点不连续）。这意味着模型对所有误差的惩罚力度是相同的。
鲁棒性	对离群点（Outliers）具有更强的鲁棒性。因为对大误差的惩罚是线性的，不会像 L2 Loss 那样被平方放大。
收敛	梯度恒定，收敛速度稳定，但由于 $0$ 点梯度不连续，可能导致最终收敛时在最小值附近震荡。
用途	主要用于回归任务，尤其是在数据中包含较多离群点时。

---

2. L2 Loss (均方误差 / Mean Squared Error, MSE)

📐 公式

✨ 特点与用途

特点	描述
导数	导数与误差大小成线性关系。误差越大，梯度越大，惩罚越重。
鲁棒性	对离群点不鲁棒。大的误差会被平方放大，导致模型会过度关注并试图修正这些离群点。
收敛	导数连续且平滑，收敛过程稳定。误差接近 0 时，梯度变小，有助于模型精确收敛。
用途	主要用于回归任务。是理论上最常用的损失函数，在要求高精度、对离群点不敏感的场景使用。

---

3. Cross-Entropy Loss (交叉熵损失)

📐 公式

交叉熵损失主要用于分类任务。

✨ 特点与用途

特点	描述
适用任务	分类任务（将输入映射到离散的类别标签）。
惩罚机制	惩罚与模型预测概率的置信度相关。当模型对正确类别的预测概率很低时，损失会急剧增大。
优化目标	鼓励模型对正确类别给出接近 1 的高概率预测。
用途	二分类（常用于 Sigmoid 激活），多分类（常用于 Softmax 激活）。

---

💡 总结选择原则

• 回归任务（连续值预测）：
  • L2 Loss (MSE)： 如果对离群点不敏感，且追求收敛的平滑性。
  • L1 Loss (MAE)： 如果数据中离群点较多，且需要更好的鲁棒性。
• 分类任务（离散标签预测）：
  • Cross-Entropy Loss： 标准选择，用于评估预测概率分布与真实标签之间的差异。