首页 > 编程知识 正文

如果增加多层感知机的隐藏层层数,卷积神经网络详解

时间:2023-05-06 17:52:05 阅读:129383 作者:867

一、引发思考的实验与问题:在非常小的二分类样本集(样本总数63,“10-crop”法数据增强10倍,样本在矩阵中另存为图像)中,在ALexNet模型和VGG模型中进行分类任务,并留法重复50次的实验情况大致如图a所示,在inception )下,无论inception_v1模型有多少尺度(并行卷积层)的设计思想,我就很奇怪为什么效果会差别这么大?道理都是正确率和auution

为了研究这个问题,我首先尝试了自己写的相同读取数据显示结果的程序,确保自变量因素只有模型本身。 不是因为某些程序的错误。 根据图a的结果,训练集的效果也很低,所以推测模型不充分拟合。 然后,我们推测模型不够复杂,不能适合这种特殊的矩阵图像样本。 因此,以VGG模型为基础,开始了各种增加模型复杂性的尝试,如增加卷积层数、卷积核的数量,甚至增加卷积核的大小等,但效果几乎没有。

这个时候,我忍不住问自己。 真的是卷积核并行的思想使模型的效果如此明显吗? 我不敢相信。 于是我更谨慎的对照试验—— 我把Inception_v1的模型的并联卷积层代码删掉,只保留每个并联卷积层中卷积核个数最多的层,形成串联的卷积层,这个词可能不太能理解。 具体来说,可以看到下图的代码示例。 图a为原始并行卷积层码,图b为删改后的卷积层码,只剩下branch1这个分支。 如图所示,删除了3个并列的分支结构,只剩下1个分支,由此可以看出迄今为止实验效果的明显提高是否是由并列卷积层引起的。

实验结果:修正后的模型效果确实低于Inception_v1模型,但总体效果优于ALexNet、VGG模型,如下图所示,该说明之前带来显著影响的并不是前面的卷积层,而是后面的分类层

http://www.Sina.com/http://www.Sina.com /

二、分析实验现象与思考

重点来了!! 现在复习一下卷积层和全连接层的参数计算吧。

卷积层:假设输入到此卷积层的图像大小为224*224*3,此卷积层的卷积核大小为3*3,步长为2,个数为64。 请记住,卷积层的参数数量与输入图像的大小无关,因为计算公式——3358www.Sina.com/(1是存在bias偏移。

所以AlexNet和VGG模型最后都是有三个全连接层(FC),而Inception_v1用全局平均池化的方法代替全连接层融合学到的深度特征,这种方法可以显著提升在小样本情况下模型的预测分类能力!只有一个分类的全连接层(我是二分类问题,所以只有2个神经元)。

所有连接层:计算公式为——3358www.Sina.com/,例如全连接层最大特点是参数爆炸

(卷积核高 * 卷积核宽 * 输入图片的通道数 + 1) * 卷积核个数

http://www.Sina.com/http://www.Sina.com /

通过全球池化和卷积层方法实现全连接层的好处是,在我以前的博客中有http://www.Sina.com/https://blog.csdn.net/amigo _ 1997/article/details

复习:大小通过“图像贴图”卷积层的变化

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。