2016年提交的论文地址squeeze net 3360 Alex net-levelaccuracywith 50 xfewerparametersand 0.5 mbmodelsize
*在不大幅降低模型精度的情况下,最大化运算速度。 *提高运算速度有两个可调整的方向。
1 .减少可学习参数的数量
2 .减少整个网络的计算量
这个方向带来的效果非常明显:
1 .减少模型训练和测试时的计算量,加快单个步骤的速度
2 .减小模型文件的大小可以更容易地保存和传输模型。
3 .可学习的参数更少,网络占用的内存更小。
SqueezeNet是在此环境中诞生的高精度网络,可以在ImageNet数据集上达到AlexNet近似的效果,但参数比AlexNet少50倍,与他们的模型压缩技术Deep Compression相结合时,可以实现演示
8.1SqueezeNet的压缩策略SqueezeNet的模型压缩使用了三种策略:
1.33卷积替换为11卷积
减少2.33卷积输入输出通道数;
3 .后置下采样,提高精度,但网络计算量增加。
8.2文件模块
图31 Fire Module Fire模块由Squeeze和Expand构成,Squeeze由连续的11卷积构成,Expand由连续的11卷积核心的连续的33卷积电容器构成
8.3队列网络结构
图32 SqueezeNet网络结构的左侧没有shortcut,中央有shortcut,右侧有shortcut跨越不同的Feature Map个数的卷积。
pytorch的实现