目录AlexNetLRN原理ZFNetVGGNet2014年GooleNetnative inception module降维后的inception module改进ResNetResNext随机ResNet 2016DenseNet
亚历克斯内特
2012年提出了AlexNet，将隐藏层视为黑匣子，输入有约15万个特征，输出有5万个特征
其中有8层网络，不是池化层，而是8层。 5层卷积层和3层全连接层
LRN-局部响应规范，横向局部抑制，找出所有层的相同位置，比较大小，取最大的层，在该层周围用公式计算值，值越大，值越小越抑制。
k :超参，n:影响通道数，实践证明BN比LRN更有效
LRN原理图像识别的输出值比最大概率为0.99、其他值合计为0.01、最大概率为0.8、其他值合计为0.2更有效
zfnet于2013年提交
AlexNet是否可以通过调整参数变得更好？
通过调整卷积内核的大小并增加最大轮询步数，特征值会变得更平滑
VGGnet于2014年提出，在深度学习上出现了特征框架和大网络。 VG是通过调整参数、增加层数得到的最佳，也许这是参数的极限。 为了获得更好的性能，可以预想到要进行网络结构的变更。 VGGnet的卷积层和全连接层组合达到极限，一般提高LRN效应。
VG网关有19层，常用的是VG网关16。
卷积层的所有连接层都有138M的参数，如何减少参数值？
通过在最后卷积层之后追加卷积层conv3-512，尺寸降低到3*3，通道数降低到512，参数降低到12M
2014 goole net选择有趣的网络结构
本机inception module
其中10个Inception module相互连接
降维后的inception module
有两个分类器位于4a和4d之后，在训练后期发挥作用
改进用55卷积核代替33卷积核效果相同
可以看到55输入经过两次33的卷积得到11
与55个输入经过55个卷积得到11个结果相同
ResNet层卷积图
之后到了三楼，
ResNext扩大宽度
随机ResNet 2016 DenseNet用于图像分类