首页 > 编程知识 正文

深度神经网络结构,深度神经网络有哪些

时间:2023-05-05 18:12:41 阅读:134577 作者:4543

关于深卷积神经网络的前世,这里不多介绍。 这里主要简单介绍网络的各个组成部分。

图1基本深度卷积网络结构

从图1可以看出,深卷积神经网络主要由输入层、卷积层、激活函数、池化层、全连接层和输出层组成。 以下,以脸部识别为例,对网络的各构成要素进行简单介绍。

输入层:深度卷积网络可以直接将图像作为网络输入,通过训练提取特征,但为了获得更好的效果,通常需要对图像进行预处理,在人脸识别中需要进行人脸检测等处理(MTCNN是优秀的人脸) 此外,如果样品不足,则需要进行样品增强处理,如旋转、平移、剪切、噪波增加和颜色转换。

卷积层:指通过卷积运算使输入实质上成为另一种表示。 如果将卷积层视为黑匣子,则可以将输出视为输入的另一种表示,整个网络的训练就是训练该表示所需的中间参数。 图2是典型神经网络的图像:

图2简单的神经网络

图2中的w和b是网络训练所需的参数,需要在卷积层中增加激活函数使运算非线性化。 深度卷积网络由小神经网络连接构成深度神经网络,主要有两种特殊的处理方式:

采用局部感觉野:神经元只连接到其相邻的上层神经元,通过组合学习到的局部特征形成最后的全局特征。 采用权重共享:当同一个卷积内核操作不同的局部感觉野时,采用相同的权重参数可以减少网络运行所需的参数计算量。 通过每层多个卷积核获取图像的不同特征,无需特意考虑图像中特征的具体位置,这种处理方式在图像任务的分析和处理上具有明显优势

图3卷积运算的示意图

图3显示了对某个三维图进行卷积处理,用同一卷积对照不同的输入层进行卷积操作,可以得到一组输出,用多个卷积核可以得到多少个输出。 不同层和不同输入图的处理方法相似,是在中间卷积运算时处理参数的过程,但最后决定分类个数的是最后一层所有连通层的个数。 在100张图像的情况下,图像具有32*32的大小,该图像的输入是三维的,即100*32*32*3,并且根据大小为3*3的256个卷积核的边缘校正计算,输出得到100*32*32*256。

卷积运算的输入输出窗口的大小变化如下。 这里,w为输入的长度/幅度(输入长宽比不一定相等),f为卷积内核的大小,p为边缘补充个数,s为步长(卷积间隔个数)。 图3中,输入为5*5,卷积核的大小为3*3,边补全为1,步长为2,其计算为n=(5-3) 1

vggnet通过实验证明,3个3*3的卷积核比1个7*7的卷积核更有效,2个3*3的卷积核比1个5*5的网络更有效。 另外,resnet提出的残差网络结构可以有效避免网络中参数中国化的问题。

池化层:是卷积神经网络中对数据的一种特殊处理操作,通过池化处理缩小图像的特征大小,可以有效地消除将高层结果作为输入带来的计算量大的问题。 图4是常用的游泳池化方法。

图4平均池化和最大池化

2*2的池化可以使特征图的大小减半,然后池化层经常用大小为3*3、步长为2、pad=0的卷积核进行替换,可以实现同样的效果。

激活函数:网络中的卷积和池化操作都是线性操作,但生活中的大量样本在进行分类时不是线性关系,需要在网络中引入非线性因素来解决非线性问题。 常见的激活函数如下。

图5 Relu函数及其改进函数

所有连接层:此层为网络中消耗参数最多的层,所有连接层输入为4*4*100,所有连接层输出为512时,此层需要4*4*100* 512个参数; 另一方面,在典型的卷积层中,如果卷积核为4*4,输出为512,则4*4*512个参数就可以了。 典型的网络包括两个全连接层,第二个全连接层的输出对应分类数的输出,但最近有文献报道,第一个卷积层可以用全局平均池化层等来代替。

以上是通过个人学习进行的简单总结,如果有错误的地方请指出。 期待着和大家一起学习进步。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。