【动手学深度学习PyTorch】softmax回归

📅 发布时间：2026/6/20 3:46:57

【动手学深度学习PyTorch】softmax回归 - 实践

2025-10-19 15:38 tlnshuju 阅读(0) 评论(0) 收藏举报

softmax回归

一、分类困难

1. 介绍

假设每次输入是一个 $2×22\times2$ 的灰度图像。每个图像属于类别“猫”“鸡”和“狗”中的一个。接下来，我们要选择如何表示标签。
选择就是最直接的想法 $\in \{1, 2, 3\}$ ，其中整数分别代表 ${狗,猫,鸡}\{\text{狗}, \text{猫}, \text{鸡}\}$ 。这是在计算机上存储此类信息的有效方法。

2. 独热编码（one-hot encoding）

独热编码是一个向量，它的分量和类别一样多。

类别对应的分量设置为1，其他所有分量设置为0。
在上边的例子中，标签 $y$ 将是一个三维向量，其中 $(1, 0, 0)$ 对应于“猫”、 $(0, 1, 0)$ 对应于“鸡”、 $(0, 0, 1)$ 对应于“狗”： $\in \{(1, 0, 0), (0, 1, 0), (0, 0, 1)\}.$

二、网络架构

为了估计所有可能类别的条件概率，我们得一个有多个输出的模型，每个类别对应一个输出。
为了解除线性模型的分类问题，我们必须和输出一样多的仿射函数（affine function）。每个输出对应于它自己的仿射函数。
在我们的例子中，由于我们有4个特征和3个可能的输出类别，我们将需要12个标量来表示权重（带下标的 $w$ ），3个标量来表示偏置（带下标的 $b$ ）。
下面我们为每个输入计算三个未规范化的预测（logit）： $o_1$ 、 $o_2$ 和 $o_3$ 。
$\begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{12} + x_3 w_{13} + x_4 w_{14} + b_1,\\ o_2 &= x_1 w_{21} + x_2 w_{22} + x_3 w_{23} + x_4 w_{24} + b_2,\\ o_3 &= x_1 w_{31} + x_2 w_{32} + x_3 w_{33} + x_4 w_{34} + b_3. \end{aligned}$

我们许可用神经网络图来描述这个计算过程。
与线性回归一样，softmax回归也是一个单层神经网络。由于计算每个输出 $o_1$ 、 $o_2$ 和 $o_3$ 取决于所有输入 $x_1$ 、 $x_2$ 、 $x_3$ 和 $x_4$ ，因而softmax回归的输出层也是全连接层。

通过向量形式表达为 $o=Wx+b\mathbf{o} = \mathbf{W} \mathbf{x} + \mathbf{b}$ ，

三、全连接层的参数开销

全连接层是“完全”连接的，可能有很多可学习的参数。
具体来说，对于任何具有 $d$ 个输入和 $q$ 个输出的全连接层，参数开销为 $O(dq)\mathcal{O}(dq)$ ，这个数字在实践中可能高得令人望而却步。然而将 $d$ 个输入转换为 $q$ 个输出的成本可以减少到 $O(dqn)\mathcal{O}(\frac{dq}{n})$ ，其中超参数 $n$ 行由我们灵活指定，以在实际应用中平衡参数节约和模型有效性

四、softmax运算

softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持可导的性质。

为了做完这一目标，我们首先对每个未规范化的预测求幂，这样可以确保输出非负。
为了确保最终输出的概率值总和为1，我们再让每个求幂后的结果除以它们的总和。
如下式： $y^=softmax(o)其中y^j=exp⁡(oj)∑kexp⁡(ok)\hat{\mathbf{y}} = \mathrm{softmax}(\mathbf{o})\quad \text{其中}\quad \hat{y}_j = \frac{\exp(o_j)}{\sum_k \exp(o_k)}$
- 对于所有的 $j$ 总有 $0≤y^j≤10 \leq \hat{y}_j \leq 1$ 。因此， $y^\hat{\mathbf{y}}$ 可以视为一个正确的概率分布。

softmax运算不会改变未规范化的预测 $o\mathbf{o}$ 之间的大小次序，只会确定分配给每个类别的概率。因此，在预测过程中，我们仍然可以用下式来选择最有可能的类别。
$argmax⁡jy^j=argmax⁡joj. \operatorname*{argmax}_j \hat y_j = \operatorname*{argmax}_j o_j.$

尽管softmax是一个非线性函数，但softmax回归的输出仍然由输入特征的仿射变换决定。因此，softmax回归是一个线性模型（linear model）。

五、小批量样本的矢量化

为了提高计算效率并且充分利用GPU，我们通常会对小批量样本的材料执行矢量计算。
假设大家读取了一个批量的样本 $X\mathbf{X}$ ，其中特征维度（输入数量）为 $d$ ，批量大小为 $n$ 。此外，假设我们在输出中有 $q$ 个类别。那么小批量样本的特征为 $X∈Rn×d\mathbf{X} \in \mathbb{R}^{n \times d}$ ，权重为 $W∈Rd×q\mathbf{W} \in \mathbb{R}^{d \times q}$ ，偏置为 $b∈R1×q\mathbf{b} \in \mathbb{R}^{1\times q}$ 。
softmax回归的矢量计算表达式为：

$O=XW+b,Y^=softmax(O). \begin{aligned} \mathbf{O} &= \mathbf{X} \mathbf{W} + \mathbf{b}, \\ \hat{\mathbf{Y}} & = \mathrm{softmax}(\mathbf{O}). \end{aligned}$

相对于一次处理一个样本，小批量样本的矢量化加快了 $X和W\mathbf{X}和\mathbf{W}$ 的矩阵-向量乘法。
由于 $X\mathbf{X}$ 中的每一行代表一个数据样本，那么softmax运算许可按行（rowwise）执行：
对于 $O\mathbf{O}$ 的每一行，我们先对所有项进行幂运算，然后凭借求和对它们进行标准化。
在 $O=XW+b\begin{aligned} \mathbf{O} &= \mathbf{X} \mathbf{W} + \mathbf{b} \end{aligned}$ 中， $XW+b\mathbf{X} \mathbf{W} + \mathbf{b}$ 的求和会使用广播机制，小批量的未规范化预测 $O\mathbf{O}$ 和输出概率 $Y^\hat{\mathbf{Y}}$ 都是形状为 $\times q$ 的矩阵。

六、损失函数

1. 对数似然

softmax函数给出了一个向量 $y^\hat{\mathbf{y}}$ ，我们能够将其视为“对给定任意输入 $x\mathbf{x}$ 的每个类的条件概率”。例如， $y^1\hat{y}_1$ = $P(y=猫∣x)P(y=\text{猫} \mid \mathbf{x})$ 。
假设整个数据集 ${X,Y}\{\mathbf{X}, \mathbf{Y}\}$ 具有 $n$ 个样本，其中索引 $i$ 的样本由特征向量 $x(i)\mathbf{x}^{(i)}$ 和独热标签向量 $y(i)\mathbf{y}^{(i)}$ 组成。我们许可将估计值与实际值进行比较：
$P(\mathbf{Y} \mid \mathbf{X}) = \prod_{i=1}^n P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}).$

根据最大似然估计，我们最大化 $P(Y∣X)P(\mathbf{Y} \mid \mathbf{X})$ ，相当于最小化负对数似然：

$−log⁡P(Y∣X)=∑i=1n−log⁡P(y(i)∣x(i))=∑i=1nl(y(i),y^(i)), -\log P(\mathbf{Y} \mid \mathbf{X}) = \sum_{i=1}^n -\log P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}) = \sum_{i=1}^n l(\mathbf{y}^{(i)}, \hat{\mathbf{y}}^{(i)}),$

其中，对于任何标签 $y\mathbf{y}$ 和模型预测 $y^\hat{\mathbf{y}}$ ，损失函数为：$ l(\mathbf{y}, \hat{\mathbf{y}}) = - \sum_{j=1}^q y_j \log \hat{y}_j. $

2. softmax及其导数

subsec_softmax_and_derivatives

由于softmax和相关的损失函数很常见，
因此我们需要更好地理解它的计算方式。
将 $y^=softmax(o)其中y^j=exp⁡(oj)∑kexp⁡(ok)\hat{\mathbf{y}} = \mathrm{softmax}(\mathbf{o})\quad \text{其中}\quad \hat{y}_j = \frac{\exp(o_j)}{\sum_k \exp(o_k)}$ 代入损失$ l(\mathbf{y}, \hat{\mathbf{y}}) = - \sum_{j=1}^q y_j \log \hat{y}_j. $中。
利用softmax的定义，我们得到：
$l(y,y^)=−∑j=1qyjlog⁡exp⁡(oj)∑k=1qexp⁡(ok)=∑j=1qyjlog⁡∑k=1qexp⁡(ok)−∑j=1qyjoj=log⁡∑k=1qexp⁡(ok)−∑j=1qyjoj. \begin{aligned} l(\mathbf{y}, \hat{\mathbf{y}}) &= - \sum_{j=1}^q y_j \log \frac{\exp(o_j)}{\sum_{k=1}^q \exp(o_k)} \\ &= \sum_{j=1}^q y_j \log \sum_{k=1}^q \exp(o_k) - \sum_{j=1}^q y_j o_j\\ &= \log \sum_{k=1}^q \exp(o_k) - \sum_{j=1}^q y_j o_j. \end{aligned}$

考虑相对于任何未规范化的预测 $o_j$ 的导数，大家得到：

$∂ojl(y,y^)=exp⁡(oj)∑k=1qexp⁡(ok)−yj=softmax(o)j−yj. \partial_{o_j} l(\mathbf{y}, \hat{\mathbf{y}}) = \frac{\exp(o_j)}{\sum_{k=1}^q \exp(o_k)} - y_j = \mathrm{softmax}(\mathbf{o})_j - y_j.$

3. 交叉熵损失

我们启用$ l(\mathbf{y}, \hat{\mathbf{y}}) = - \sum_{j=1}^q y_j \log \hat{y}_j $来定义损失$ l$，它是所有标签分布的预期损失值。
此损失称为交叉熵损失（cross-entropy loss），它是分类障碍最常用的损失之一。

小结

softmax运算获取一个向量并将其映射为概率。
softmax回归适用于分类障碍，它应用了softmax运算中输出类别的概率分布。
一个衡量两个概率分布之间差异的很好的度量，它测量给定模型编码数据所需的比特数。就是交叉熵

内容声明
本文基于开源教材《动手学深度学习》（Dive into Deep Learning, 作者：Aston Zhang、Zachary C. Lipton、Mu Li、Alexander J. Smola 等）整理，原始项目地址：https://github.com/d2l-ai/d2l-zh。
在整理过程中对部分内容进行了删改和补充，仅用于个人学习与交流，版权归原作者所有。