手写字体识别模型LeNet5诞生于1994年，是最早的卷积神经网络之一。 LeNet5通过巧妙的设计，利用卷积、参数共享、池化等操作提取特征，避免了大量的计算成本，最后采用全连接神经网络进行分类识别。 该网络也是最近大量神经网络架构的出发点。
LeNet5的网络结构图如下所示。
LeNet5由七层CNN (不包括输入层)组成，在上图中输入的原始图像大小为3232像素，卷积层由Ci表示，子采样层(轮询，池化)由Si表示，并且所有连接层由Fi表示按层次介绍其作用和形象之上数字的含义。1、C1层（卷积层）：6@2828
该层使用了6个卷积核，每个卷积核的大小为55，由此得到6个feature map (特征图)。（1）特征图大小
对于每个卷积内核(55 )与原始输入图像(3232 )进行卷积，并且所获得的特征映射的大小为(32-5 1) ) 32-5 1)=2828
卷积核和输入图像按卷积核大小对每个区域进行匹配计算，匹配后原始输入图像的尺寸变小。 边缘部分的卷积核不能越过边界，因此只能匹配一次。 匹配计算后的大小为CrCc=[Ir-Kr1][Ic-Kc1]。 其中，Cr、cc、IR、IC、kr、KC分别表示卷积（2）参数个数
为了共享参数(权重)，对于相同的卷积内核，每个神经元使用相同的参数，因此参数数量为) 55 )1)6=156，其中55是卷积内核参数，1是偏移
由于卷积后的图像大小为2828，每个特征图有2828个神经元，每个卷积内核参数为[551]6，因此该层的连接数为[ 551 ]62828
该层主要进行池化或特征映射(特征降维)，池化单元为22，因此6个特征图的大小池化后为1414。 回顾本文最初叙述的池化操作，池化单元之间没有重复，在池化区域内进行汇总统计的结果得到了新的特征值，因此在22池化后，每2行2列重新计算特征值，图像尺寸会减半，因此重叠
该层的计算过程是将22单元的值相加，与训练参数w相乘，再加上偏置参数b，取sigmoid值作为对应单元的值。 卷积操作和池化的示意图如下。（3）连接数
S2层为每个特征图共享相同的w和b两个参数，因此26=12个参数2、S2层（下采样层，也称池化层）：6@1414
由于下采样后的图像尺寸为1414，每个S2层特征图有1414个神经元，每个池单元的连接数为221(1是偏移量)，因此该层的连接数为) 21 ) 14
C3层有16个卷积核，卷积模板大小为55。（1）特征图大小
与C1层分析一样，C3层特征图的大小为(14-5 1) ) 14-5 1)=1010 （2）参数个数
需要注意的是，C3和S2并不是完全连接的，而是部分连接的。 C3可能连接到S2的3楼，可能连接到4楼，也可能到达6楼。 这样提取更多的特征后，连接的规则如下表所示。
例如，第一列指示C3层中的第0个特征图仅连接到S2层中的0、1和2这三个特征图，其中计算过程使用三个卷积模板分别连接到S2层中的三个特征图其他通过添加偏移获得sigmoid的列也是如此(有三个卷积模板，有四个，也有六个)。 因此，C3层参数为[5531]6(5541 ) 9561=15163358www.Sina.com/
卷积后特征图的大小为1010，参数为1516，因此连接数为15161010=1516003358 www.Sina.com/http://www.Sina.com /
如在S2分析中一样，池单元的大小为22，因此该层类似于C3具有16个特征图，每个特征图的大小为55。（3）连接数
与S2的计算一样，所需参数为162=32 3、C3层（卷积层）：16@1010
连接数为) 22 1)5516=2000
g>5、C5层（卷积层）：120（1）特征图大小
该层有120个卷积核，每个卷积核的大小仍为5×5，因此有120个特征图。由于S4层的大小为5×5，而该层的卷积核大小也是5×5，因此特征图大小为（5-5+1）×（5-5+1）= 1×1。这样该层就刚好变成了全连接，这只是巧合，如果原始输入的图像比较大，则该层就不是全连接了。
（2）参数个数
与前面的分析类似，本层的参数数目为120×（5×5×16+1） = 48120
（3）连接数
由于该层的特征图大小刚好为1×1，因此连接数为48120×1×1=48120
6、F6层（全连接层）：84
（1）特征图大小
F6层有84个单元，之所以选这个数字的原因是来自于输出层的设计，对应于一个7×12的比特图，如下图所示，-1表示白色，1表示黑色，这样每个符号的比特图的黑白色就对应于一个编码。
该层有84个特征图，特征图大小与C5一样都是1×1，与C5层全连接。
（2）参数个数
由于是全连接，参数数量为（120+1）×84=10164。跟经典神经网络一样，F6层计算输入向量和权重向量之间的点积，再加上一个偏置，然后将其传递给sigmoid函数得出结果。
（3）连接数
由于是全连接，连接数与参数数量一样，也是10164。
7、OUTPUT层（输出层）：10
Output层也是全连接层，共有10个节点，分别代表数字0到9。如果第i个节点的值为0，则表示网络识别的结果是数字i。
（1）特征图大小
该层采用径向基函数（RBF）的网络连接方式，假设x是上一层的输入，y是RBF的输出，则RBF输出的计算方式是：
上式中的Wij的值由i的比特图编码确定，i从0到9，j取值从0到7×12-1。RBF输出的值越接近于0，表示当前网络输入的识别结果与字符i越接近。
（2）参数个数
由于是全连接，参数个数为84×10=840
（3）连接数
由于是全连接，连接数与参数个数一样，也是840