这是一篇模型压缩比较早的论文,论文提出的方法也很简单,针对神经网络,利用训练数据统计神经网络层的冗馀度。 具体公式如下。
简单说明上面的公式。 输入n张图像,统计包含m个输出通道的神经层中激活为0的神经元占该层的神经元总数。
然后,根据设定的阈值,渐进裁剪这些神经元。 有两点需要注意:
裁剪一层一层地进行,不能一次多裁剪。 否则会严重影响精度。 初始化适当的参数后,修剪会更充分。
由于裁剪方法陈旧,实验结果对现在也没什么参考价值,但可以感兴趣地看原文。 文章的主要创新点是数据驱动的剪枝方式。 为了改进所述方案,数据驱动可以被改变为硬件驱动。