1. 从逻辑回归到浅层神经网络的演进
在机器学习领域，分类问题是最基础也最重要的任务之一。二分类问题尤其常见，比如判断邮件是否为垃圾邮件、识别图片中是猫还是狗等。最初，我们使用逻辑回归来解决这类问题，但随着数据复杂度的提升，逻辑回归的局限性逐渐显现。
逻辑回归本质上是一个线性分类器，它通过sigmoid函数将线性组合的结果映射到0-1之间，作为分类概率。对于简单的线性可分数据，逻辑回归表现良好。但当面对图像分类这种复杂任务时，逻辑回归就显得力不从心了。以128x128的RGB图像为例，每个样本就有128×128×3=49152个特征维度，线性模型的表达能力远远不够。
浅层神经网络（通常指含有一个隐藏层的神经网络）的出现，为解决这个问题提供了新思路。通过在输入层和输出层之间加入隐藏层，并引入非线性激活函数，模型获得了学习非线性关系的能力。这种结构虽然简单，但已经能够解决许多逻辑回归无法处理的复杂问题。
2. 模型架构对比分析
2.1 逻辑回归模型解析
让我们先回顾一下逻辑回归模型的核心代码结构：
class LogisticRegressionModel(nn.Module): def __init__(self): super().__init__() self.flatten = nn.Flatten() self.linear = nn.Linear(128 * 128 * 3, 1) self.sigmoid = nn.Sigmoid() def forward(self, x): x = self.flatten(x) x = self.linear(x) x = self.sigmoid(x) return x这个模型非常简单直接：
- 首先将输入的3D图像张量展平为一维向量
- 然后通过一个线性变换层
- 最后用sigmoid函数将输出映射到0-1之间
这种结构的局限性很明显：
- 只能学习输入特征的线性组合
- 对于复杂的图像数据，无法捕捉像素间的非线性关系
- 模型容量有限，难以拟合复杂的数据分布
2.2 浅层神经网络模型解析
相比之下，浅层神经网络的结构就丰富多了：
class ShallowNeuralNetwork(nn.Module): def __init__(self): super().__init__() self.flatten = nn.Flatten() self.hidden = nn.Linear(128 * 128 * 3, 4) # 隐藏层 self.ReLU = nn.ReLU() # 非线性激活 self.output = nn.Linear(4, 1) self.sigmoid = nn.Sigmoid() def forward(self, x): x = self.flatten(x) x = self.hidden(x) x = self.ReLU(x) # 引入非线性 x = self.output(x) x = self.sigmoid(x) return x这个模型的关键改进在于：
- 增加了隐藏层，扩展了模型的表达能力
- 引入了ReLU激活函数，使模型能够学习非线性关系
- 通过隐藏层的多个神经元，可以学习输入特征的不同组合方式
注意：虽然这里只使用了4个隐藏神经元，但这已经显著增加了模型的容量。在实际应用中，可以根据数据复杂度适当增加神经元数量。
3. 训练过程与性能分析
3.1 训练指标对比
在相同的猫狗分类数据集上，我们对比了两个模型的训练表现：
| 指标 | 逻辑回归 | 浅层神经网络 |
|---|---|---|
| 训练损失 | 1-10之间波动 | 0-1之间稳定下降 |
| 验证准确率 | 约58% | 50%-60%波动 |
| 训练稳定性 | 波动较大 | 相对稳定 |
从表格中可以看出一个有趣的现象：虽然神经网络的损失明显降低，但准确率提升并不显著。这引出了深度学习中的一个重要问题：损失下降是否一定意味着模型性能提升？
3.2 损失与准确率的关系解析
损失函数（这里使用二元交叉熵）和准确率虽然都用于评估模型，但它们衡量的角度不同：
损失函数：衡量模型预测概率与真实标签的差异程度。即使预测概率只是从0.4提升到0.49，损失也会下降，但如果没跨过0.5的分类阈值，准确率不会变化。
准确率：只关心最终分类结果是否正确。对于概率在0.5附近的样本，模型可能已经学到了很多（损失下降），但准确率仍可能不变。
这种现象在数据分布复杂、两类样本重叠较多时尤为明显。我们的猫狗数据集可能就属于这种情况 - 有些猫和狗的照片本身就很难区分，即使是人类也可能判断错误。
3.3 训练曲线分析
观察训练曲线，我们可以发现更多细节：
逻辑回归：
- 损失值较高且波动大
- 准确率曲线几乎平直
- 表明模型在"挣扎"，无法有效学习数据中的模式
浅层神经网络：
- 损失稳定下降，接近线性
- 准确率虽提升不大，但训练过程更稳定
- 表明模型确实在学习有用的特征，只是能力仍有限
实操建议：当遇到损失下降但准确率不升的情况，可以尝试以下方法：
- 检查数据质量，可能存在标注噪声或难以区分的样本
- 增加模型容量（更多隐藏单元或更深层数）
- 调整学习率等超参数
- 尝试不同的优化器
4. 代码实现细节与优化
4.1 完整实现解析
让我们深入分析完整实现中的关键部分：
# 数据准备 transform = transforms.Compose([ transforms.Resize((128, 128)), # 统一图像尺寸 transforms.ToTensor(), # 转为张量 transforms.Normalize((0.5,), (0.5,)) # 归一化 ]) # 数据集划分 train_size = int(0.8 * len(dataset)) val_size = int(0.1 * len(dataset)) test_size = len(dataset) - train_size - val_size train_dataset, val_dataset, test_dataset = random_split(dataset, [train_size, val_size, test_size]) # 训练循环 for epoch in range(epochs): model.train() epoch_train_loss = 0 for images, labels in train_loader: # 前向传播 outputs = model(images) loss = criterion(outputs, labels) # 反向传播 optimizer.zero_grad() loss.backward() optimizer.step() epoch_train_loss += loss.item()4.2 关键参数说明
学习率(lr=0.01)：
- 控制参数更新的步长
- 太大可能导致震荡，太小则收敛慢
- 对于浅层网络，0.01是一个合理的初始值
批量大小(batch_size=32)：
- 影响梯度估计的准确性
- 较小的批量有助于泛化，但会增加训练时间
- 32是一个常用的折中选择
隐藏单元数(4个)：
- 决定了模型的容量
- 对于图像数据来说，4个可能太少
- 可以尝试增加到64或128
4.3 常见问题排查
在实际训练中，可能会遇到以下问题：
损失不下降：
- 检查学习率是否太小
- 确认模型结构是否正确
- 验证数据是否正常加载
准确率卡在50%：
- 可能是模型没有学到任何有用特征
- 尝试增加模型容量
- 检查数据是否平衡
过拟合：
- 训练损失下降但验证损失上升
- 可以添加Dropout层
- 考虑使用L2正则化
5. 进一步优化的方向
虽然浅层神经网络比逻辑回归有所改进，但仍有很大提升空间：
增加网络深度：
- 尝试添加更多隐藏层
- 每层使用合适的神经元数量
使用卷积神经网络：
- 对于图像数据，CNN是更合适的选择
- 可以自动学习局部特征
优化超参数：
- 系统性地调整学习率、批量大小等
- 可以使用网格搜索或随机搜索
数据增强：
- 通过对训练图像进行旋转、翻转等操作增加数据多样性
- 有助于提高模型泛化能力
使用预训练模型：
- 在大规模数据集上预训练的模型可以作为特征提取器
- 特别适合数据量不大的情况
在实际项目中，我通常会先从一个简单模型开始，逐步增加复杂度，同时密切监控验证集表现。记住，模型不是越复杂越好，关键是要找到适合问题复杂度的架构。