前言深度神经网络(DNN )存在计算量过大的巨大缺点。 为了克服这种问题，研究者在两个方面都做了工作。
第一，高性能硬件加速
第二，使用模型压缩。
这里谈的是软件的方法，也就是模型压缩。
模型压缩方法：
网络剪枝(网络规划(优化)低秩分解(低秩因子)知识蒸馏(知识分散) http://www.Sina.
研究的中心问题是网络剪枝（Network Pruning）
剪枝可分为如何有效地裁剪模型参数且最小化精度的损失和结构化剪枝（Structured pruning）两类。
目的：
关于减少内存开销，提高运行速度，减小模型文件大小的大人物的故事真的很好。 点击阅读
非结构化剪枝（Unstructured pruning）
模型量化的基本思想是用更低的精度替换原始浮点精度。
量化最核心的挑战是在减少显示精度的同时不降低模型精度，即在压缩率和准确率损失之间建立折衷。
同一大人物的解读！ 点击阅读
量化（Quantization）
秩可以测量相关性，但矩阵相关性实际上表示矩阵的结构信息。
如果矩阵之间的每行相关性强，则该矩阵实际上显示其可以投影在更低维的线性子空间中，即在能够由一些向量完全表示的情况下，其是低秩的。低秩分解（Low-rank factorization）
1 )在解决稀疏矩阵问题时，可以通过矩阵分解发现数据的潜在结构
2 )矩阵分解具有优雅的概率解释
3 )可以方便地与特定领域的先验知识合作进行扩展，可以应对现实世界中的各种问题
4 )许多优化算法能量(例如随机梯度下降方法)被应用于该方法，以找到更好的解决方案。
特性：
基于“教师-学生网络思想”训练方法，将已经训练过的模型中包含的知识()知识()、蒸馏)、Distill )提取到其他模型中。
Teacher—Student模型。 在这里，teacher是“知识”的输出者，student是“知识”的接受者。
知识蒸馏的过程分为两个阶段：
原始型训练：训练“Teacher型”，简称Net-T，其特点是模型比较复杂，也可集成多个分别训练的模型。 对于“Teacher模型”，对模型结构、参数量和是否集成没有限制。 唯一的要求是可以对输入x输出y。 其中y经过softmax映射，输出值对应于相应类别的概率值。 简易模型训练：训练“Student模型”，简称Net-S，是一个参数量小、模型结构比较简单的单一模型。 同样，y也可以输出输入x，y可以输出对应的类的概率值经由softmax映射来输出。