原文地址:点击查看
卷积一维卷积的输入是向量和卷积核,输出也是向量。
通常,输入向量的长度远大于卷积内核的长度。
输出向量的长度取决于卷积操作的填充方法,而等宽卷积的输出向量的长度等于输入向量的长度。
卷积核的长度通常为奇数。 这是对称设计的。
一个例子:
一维卷积示例
请注意,乘法的顺序为相反。 这由卷积的定义决定。
输出长度为7,卷积核心长度为3,输出长度为7-3 1=5。
也就是说,如果设输入长度为m并且卷积内核长度为n,则此处的卷积操作的输出长度为m-n 1。
这样的卷积被称为窄卷积。
等宽卷积是指在输入的两侧各填充(n-1 )/2,最终输出长度为m(n-1 )/2*2-n 1=m。
填充元素可以与0、边相同,也可以是镜像的。
上图示例中的输入向量是、
0填充后的输入为01 2 3 4 5 6 70,重复边缘填充后为112345677镜像填充后为212345676下图,等幅卷积及0填充,输入为1234567,输出为0 2 4 6 8 10 20
0填充-等宽卷积
用其他样式说明卷积步骤的概念,如下图所示
图a步长为2,不填充; 图b是步长为1、填充0的等宽度卷积。
卷积步骤为2表示在步骤为1的情况下每隔两个步骤获取一个输出。 当然,这是步骤的概念。 默认步长大小为1。 使用等宽卷积时,对于步长为2的一维卷积,输出长度为输入长度的一半。
无二维卷积填充的二维卷积
如上图所示,假设二维卷积的输入维度为mxm并且卷积核大小为nxn,则无填充输出大小为(m-n 1) x (m-n1)。 这与一维卷积类似。 有填充的二维卷积如下图所示。
卷积填充
卷积核含义不同的卷积核作用:锐化、边缘等
在信号处理中,一些卷积内核也被称为滤波器。 用滤波器处理数字图像,可以得到所需的图像。 上图有三个不同的卷积核,具有锐化、去干、边缘提取等不同作用。 卷积神经网络学习到的参数主要是这些滤波器(即卷积核),在训练开始时这些卷积核的值为0或者是随机数。 训练结束后,这些卷积核被称为学习到的特征。
卷积层全连接层和卷积层
如上图所示,所有连接层有35个连接,有5*7=35个不同的参数。 卷积层只有5*3=15个连接,但只有3个参数。 因为在图b中,相同颜色的连接权重相等。 这称为加权共享。 37包含了局部连接的含义。 也就是说,上面的神经元不是和下面的每个神经元连接,而是只和附近的几个神经元连接。
池化层用几个二维的例子来说明,概念非常简单。 如果这是2x2最大池化,
最大轮询
这是2x2平均池化
平均轮询
但是,请注意,这里默认的步长为(2,2 )。 也就是说,横向和纵向步长都是2。
说实话,2x2的最大池化步骤为1的结果应该如下图所示,但似乎不太常用。
步骤1最大化池
池化层也有填充的概念,道理和卷积一样。
图层活动图层不会调整特征映射的大小。 也就是说,输入大小为mxm时,输出也为mxm。 但是,输入中的各要素x为f(x ),f为激活函数。 激活函数是一元函数。 例如,sigmoid函数可以是
Sigmoid激活函数
或ReLU函数
ReLU激活函数
优化效果的方法正则化参考文献https://nndl.github.io/《神经网络与深度学习》使用增加网络层数增加神经元数的dropout使用不同的优化器Adam、RMSprop等增加训练回合数增加批量大小