从LeNet到AlexNet：PyTorch实战解析两大经典卷积神经网络架构

1. 从LeNet到AlexNet：卷积神经网络的进化之路

1998年诞生的LeNet和2012年横空出世的AlexNet，堪称卷积神经网络发展史上的两座里程碑。作为初学者，理解这两个经典架构的差异，就像掌握了打开深度学习大门的钥匙。我在教学和项目实践中发现，很多同学虽然能跑通代码，但对架构设计背后的思想一知半解。今天我们就用PyTorch代码作为显微镜，带你看清这两个经典模型的精妙之处。

LeNet最初是为手写数字识别设计的，它的结构就像个精巧的玩具模型。而AlexNet在ImageNet大赛中一战成名，证明了深度卷积网络的强大能力。两者最直观的区别就是模型深度——LeNet只有5层有效计算层，而AlexNet有8层。但深度增加带来的不仅是参数量的变化，更引发了一系列架构设计的革新。接下来我们就从网络层设计、激活函数选择、参数规模三个维度，带你亲手搭建这两个模型。

2. LeNet架构详解与PyTorch实现

2.1 网络层设计解析

LeNet的结构就像俄罗斯套娃，采用经典的"卷积-池化-卷积-池化-全连接"模式。它的卷积核都采用5x5大小，这种设计在当时是为了捕捉手写数字的局部特征。我复现这个模型时发现，第一个卷积层输出通道设为6是个非常巧妙的设计——既保证了特征多样性，又不会增加太多计算量。

class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.conv = nn.Sequential( nn.Conv2d(1, 6, 5), # 输入1通道，输出6通道，5x5卷积核 nn.Sigmoid(), nn.MaxPool2d(2, 2), # 2x2最大池化 nn.Conv2d(6, 16, 5), nn.Sigmoid(), nn.MaxPool2d(2, 2) ) self.fc = nn.Sequential( nn.Linear(256, 120), nn.Sigmoid(), nn.Linear(120, 84), nn.Sigmoid(), nn.Linear(84, 10) )

全连接层的设计也很有意思。从256维压缩到120维，再到84维，最后输出10分类。这种阶梯式的降维方式，在当时的硬件条件下是必要的妥协。我在MNIST数据集上测试时，即使今天看来这个简单架构也能达到98%以上的准确率。

2.2 激活函数与训练技巧

LeNet全部使用Sigmoid作为激活函数，这在当时是主流选择。但现代深度学习已经很少用Sigmoid了，因为它存在梯度消失问题。有趣的是，LeNet的发明者Yann LeCun后来提出了更好的ReLU，但当时还没被广泛应用。

训练LeNet时我建议注意两点：一是学习率要设得比较小（0.01左右），二是批量大小不宜过大（64-128比较合适）。因为这个模型参数量小（约6万个参数），太大学习率容易震荡，太大批量又可能导致梯度更新方向不准。

3. AlexNet架构突破与实现

3.1 深度化设计理念

AlexNet的出现彻底改变了计算机视觉的格局。它的设计有几个革命性的创新：首次使用ReLU激活函数、引入Dropout防止过拟合、采用局部响应归一化(LRN)。我在ImageNet子集上复现时，明显感受到这些改进带来的效果提升。

class AlexNet(nn.Module): def __init__(self): super(AlexNet, self).__init__() self.conv = nn.Sequential( nn.Conv2d(3, 96, 11, 4), # 使用更大的11x11卷积核 nn.ReLU(), # 改用ReLU nn.MaxPool2d(3, 2), nn.Conv2d(96, 256, 5, padding=2), nn.ReLU(), nn.MaxPool2d(3, 2), nn.Conv2d(256, 384, 3, padding=1), nn.ReLU(), nn.Conv2d(384, 384, 3, padding=1), nn.ReLU(), nn.Conv2d(384, 256, 3, padding=1), nn.ReLU(), nn.MaxPool2d(3, 2) ) self.fc = nn.Sequential( nn.Linear(6400, 4096), nn.ReLU(), nn.Dropout(0.5), # 新增Dropout nn.Linear(4096, 4096), nn.ReLU(), nn.Dropout(0.5), nn.Linear(4096, 1000) )

AlexNet的第一个卷积层使用96个11x11的大卷积核，这种设计能捕捉更宏观的特征。后续层则采用3x3和5x5的小卷积核进行精细特征提取。这种"由粗到细"的特征提取思路，成为后来深度卷积网络的标配。

3.2 训练优化与参数规模

AlexNet参数量达到6000万，是LeNet的1000倍！训练这样的网络需要更多技巧。我建议使用带动量的SGD优化器（动量系数0.9），学习率初始设为0.01并随着训练逐步降低。批量大小可以设到256甚至更大，配合数据并行能显著加快训练速度。

Dropout的设置也很有讲究。AlexNet在全连接层使用0.5的丢弃率，这个值至今仍是很多任务的默认选择。我在实际项目中发现，对于较小的数据集，可能需要调高到0.6-0.7才能有效防止过拟合。

4. 两大架构的对比与实践建议

4.1 关键差异总结

通过下面的对比表格，我们可以清晰看到两个架构的主要区别：

4.2 项目选型建议

对于初学者，我建议先从LeNet入手理解卷积网络的基本原理。当你要处理更复杂的图像任务时，可以考虑AlexNet或者它的改进版。在实际项目中，AlexNet的以下特性特别值得关注：

1. 使用ReLU替代Sigmoid，解决了梯度消失问题
2. 引入Dropout机制，大大减轻了过拟合
3. 采用更大的输入尺寸和更深的网络结构，提升了特征提取能力
4. 使用GPU并行计算，使训练深层网络成为可能

在PyTorch中实现时，注意AlexNet最初是为ImageNet设计的（1000类分类），如果用在其他数据集上，记得修改最后一个全连接层的输出维度。我在花卉分类项目中就曾忘记修改这个参数，结果模型怎么训练效果都不好，排查了半天才发现问题所在。