引言众所周知，小卷积神经网络架构有三个优点。
1、小CNN在分布式训练中需要较少的服务器通信
2、小CNN可以用小带宽将新机型从云导出到无人车这样的客户端
3、小CNN适合引入FPGA和其他内存有限的硬件
Squeezenet在维持高精度的基础上大幅减少了参数！ (16年精度)但是，从侧面也可以感受到squeezenet采取的战略是有效的！
绪论介绍了上述三个优点。
1、参数越少，训练越快，分布式通信开销越少
2、无人车，功能更新需要半自动化，越胆小的机型更新越快，越方便
3、在FPGA芯片上安装机型当然越小越好
有关现场可编程阵列FPGA的详细信息，请参见FPGA
另外，说明了FPGA的10MB片上存储器对于设定的小模型是足够的。
根据以上几个优点，本文提出了参数更少且精度与现有模型相当的体系结构。 由此，提出了更严格地探索新CNN框架的设计空间。
本文的组织结构如下
第二板块回顾了相关工作，并在3和4两个板块介绍和评估了SqueezeNet结构，然后了解CNN结构设计的选择如何影响模型的订单和准确性。 在第五个板块，本文设计了卷积神经网络的微观搜索方案，定义了每个组织、每个层和模块的空间维度。 第六个板块对卷积神经网络的宏观设计进行探索。 最后第7个板块总结了对第3、4个板块的相关设计者的参考之处。
相关的现有模型压缩方法： 1、将奇异值分解(SVD )应用于预训练的CNN模型
2、网络：从预训练模型开始，用零阈值以下的参数形成稀疏矩阵，最后微调稀疏的CNN
3、网络裁剪量化(8位以下)与jqdbg编码相结合扩展工作，同时制定深度压缩方法，设计EIE硬件加速器，直接操作压缩模型，实现实质性的加速和节能3333
卷积神经网络的微观卷积块一般为三维或3D，hwc是三个最重要的维度。
本文提到了谷歌网的多种大小的卷积块组合，并且本文也借鉴了这一创新点，将混合卷积作为Squeezenet的一部分进行阐述。
由于各种原因，卷积宏将CNN的宏体系结构定义为端到端多模块配置系统级组织。
第三部分体系结构1、设计策略
2、基本模块fire module
3、总体结构
overarchingobjectiveisidentifyacnnarchitecturewithfewparametersandcompetitiveaccuracy。
因此，有三种战略：
first :改为使用1*1的卷积
second :减少3 * 3卷积的通道数
last :通过在网络更深的部分进行采样，卷积层有大量的激活函数，凯明大神也证实了这有助于提高分类精度。
使用前两种策略减少参与，使用第三种策略最大化分类精度！
请看Fire module。 如下图所示
是由压缩卷积和多比例卷积组成的特殊设计的基础块。
其中，第一部分的作用是压缩以减少参数的量。 第二部分的作用是扩展，采用多尺度卷积方式
获取不同大小感觉野的信息。 中间的激活层使用了ReLU。
有关squeezenet模型的详细信息，请参见下图。
原文设计了三个标准，其中主干部分即最初的基本模型如下。
一个卷积层连接一个下采样层，再跟随三个fire层，进行一次下采样，然后使用四个fire层，再进行最后下采样，将一个fire层和一个卷积层连接在末尾，再进行下采样
第二种模式的改变是向三五七九fire层添加跳过连接。
第三个模型是向所有fire层添加跳过连接，不同的是，二四六八的跳过连接使用11个卷积
在此基础上，当然可以知道参数的变化。
本文的实验结果是相当令人满意的，在保持精度的前提下将模型参数从4.8M减少到0.47M，并且用折线图说明参数的变化(改变11卷积和33卷积的fire module的大小)
经过一系列实验得到的超参数：
base=128，incr=128，pct=0.5，freq=2，SR=0.125
让我们再次强调一下原文中提出的结论。 “firemodule”的11和33卷积比例是可变的，在Imagenet中的实验证明，提高33卷积比例不会产生更好的效果，而只是增加参数量。
上述三个基准模型中，最好的是第二个，参数量保持，效果最好！
top1 top5 modelsize 57.580.34.8 m 60.482.54.8 m58.882.07.7 m这一控制参数的方式值得借鉴！