ResNet论文阅读笔记1问题的提出在我们的公众形象中，深度学习的网络越深(越复杂、参数越多)就意味着表现力越高。 但是在paper上
islearningbetternetworksaseasyasstackingmorelayers？
随着网络深度的增加，CNN网络(AlexNet、VGG、GoogleNet )会出现梯度消失/梯度爆炸问题(原因)，在一定程度上，该问题与归一化初始化和interralized initial ization有关
This problem，however， hasbeenlargelyaddressedbynormalizedinitializationandintermediatenormalizationlayerswhichenablenetworkswithtensoflayerstostartartccor
但发现深度CNN网络达到一定深度后，增加层数并不能进一步提高分类性能，反而导致网络收敛变慢，test dataset的分类精度更差。 在排除了数据集太小导致的模型拟合等问题后，发现太深的网络仍然会降低分类精度。 该paper提出了在深度网络中学习而不使模型劣化的方法。
2残差学习网络的构建2.1 Residual Learning对于一般的CNN特征提取网络(VGG/AlexNet )，学习的整个过程都是以学习输入输出之间的映射函数(h ) x为目标。 但是，残差学习的过程目标是学习输入输出间的残差f(x )的过程。 (残差f ) x )可以表示为h(x )=f (x ) x )。 实验表明，用一般意义上的有向层直接学习残差f(x )比学习h ) x )的输入输出间映射容易得多(收敛速度快)效果好)使用更多的层可以达到更高的分类精度)。
2.2 Identity Mapping by Shortcuts对深度网络中的every few stacked layers进行残差结构的构建。 的结构单元如下
公式如下。
其中x、y表示输入输出，f(x，{Wi} )表示需要学习的实时映射。 其中，F x的旁路在论文中被称为shortcut-connectionandelement-wise addition。 shortcut-connection的优点是，可以在网络参数、深度、激活函数和损耗函数相同的情况下比较plain network和residual network。
在本文中，x和f的维度必须一致。 如果不匹配，第一种解决方案是将线性投影矩阵添加到短连接分支，以匹配x和f。 上述公式如下。
第二种解决方法是将0添加到缺少的维中，以匹配x和f维。
此外，文中特别指出：
theformoftheresidualfunctionfisflexible.experimentsinthispaperinvolveafunctionfthathastwoorthreelayers， whilemorelayersarepossible.butiffhasonlyasinglelayer (meansy=w1xx )，forwhichwehavenotobservedadvantages。
2.3网络架构在具体实现残差网络时，在其中输入、输出通道数不同的情况下作者使用了两种可能的选择。 a ) shortcut直接使用身份映射(恒等映射)，缺少的通道补零对齐； b )用1x1的Conv表示Ws映射，使得输入、输出通道数相同。
3 bottleneck构建模块为了考虑实际计算，作者提出了bottleneck的结构块代替常规的Resedual block。 这就像Inception网络一样，通过使用1x1 conv巧妙地缩小或扩展特征映射维，确保3x3 conv的过滤器数不受外部(即上层)输入的影响
但是，它只是为了节省计算时间和减少整个模型的训练所需的时间，而不影响最终的模型精度。
4总结目前，Resnet已取代VGG成为常见计算机视觉领域问题中的基础特征提取网络。 目前Facebook提出的能够有效生成多尺度特征表示的FPN网络，也可以通过将Resnet作为其发挥能力的基础网络，得到图像的最佳CNN特征组合集。
参考文献deepresiduallearningforimagerecognition，He-Kaiming，2015
经典分类CNN模型系列及其Resnet
各种优化器概述：传输门1
坡度消失、坡度爆炸：传送门2
使用Numpy库： Numpy中文网
11卷积