表示学习——回顾与展望
摘要——机器学习算法的成功通常取决于数据表示，并且我们假设这是因为不同的表示可能会或多或少地隐藏和隐藏数据背后变化的不同解释因素。
尽管可以使用特定的领域知识来帮助设计表示，但也可以使用通用的先验知识进行学习，而对AI的追求则激励设计更强大的表示学习算法来实现这样的先验知识。 本文回顾了近期在无监督特征学习和深度学习方面的工作，包括概率模型，自动编码器，流形学习和深度网络。这激发了关于学习良好表示，计算表示（即推论）以及表示学习，密度估计和流形学习之间的几何关系的长期未解答的问题。
关键词——深度学习，表示学习，无监督学习，玻尔兹曼机，自编码，神经网络
1. 导论
机器学习方法的性能在很大程度上取决于它们所应用的数据表示（或特征）的选择。出于这个原因，部署机器学习算法的实际工作大部分都集中在预处理流水线和数据转换的设计上，导致数据表示可以支持有效的机器学习。这样的特征工程很重要，但是需要大量劳动力，突出了当前学习算法的弱点：他们无法从数据中提取和组织信息。特征工程是一种利用人类独创性和先前知识来弥补这一弱点的方法。为扩大机器学习的适用范围和易用性，非常希望使学习算法更少地依赖于特征工程，从而可以更快地构建新的应用程序，更重要的是，可以朝向人工智能（AI）迈进。人工智能必须从根本上理解我们周围的世界，并且我们认为只有当它能够学会识别和分解隐藏在观察到的低级别感官数据环境中的潜在解释性因素时才能实现。
本文关于表示学习，即学习数据的表示，以便在构建分类器或其他预测器时更容易提取有用的信息。在概率模型的情况下，好的表示通常是捕获观察输入的基本解释性因素的后验分布。一个好的表示也是一个有用的监督预测器的输入。在各种学习表征方式中，本文重点介绍深度学习方法：通过多个非线性变换的组合形成的方法，其目标是产生更抽象的，最终更有用的表示。在这里，我们调查这个快速发展的地区，特别强调最近的进展。我们考虑一些推动该领域研究的基本问题。具体来说，是什么让一个表示比另一个更好？举一个例子，我们应该如何计算它的表示，即执行特征提取？另外，学习好的表示有什么合适的目标？
2. 为什么我们应该关注表示学习？
2.1 语音识别和信号处理
2.2 目标识别
2.3 自然语言处理（NLP）
2.4 多任务迁移学习，领域适应
3. 怎样才能有好的表示
3.1 AI中表示学习的先验知识
3.2 平滑度与维数灾难
3.3 分布式表示
3.4 深度与抽象
3.5 解决变异因子（Disentangling Factors of Variation）
3.6 表示学习的好的标准
4. 建立深度表示
5. 单层次学习模型
5.1 主成分分析（PCA）
6. 概率模型
6.1 有向图模型
6.1.1 概率挤压（Explaining Away）
6.2 无向图模型
6.3 受限玻尔兹曼机（RBM）到真值数据的泛化
6.4 RBM参数评估
6.4.1 CD评估
6.4.2 SML算法
6.4.3 伪相似性，比率匹配等
7. 直接学习从输入到表示的映射参数
7.1 自编码
7.2 规范化自编码
7.2.1 稀疏自编码
7.2.2 DAEs
7.2.3 CAEs
7.2.4 PSD
8. 流形学习的表示学习
8.1 基于邻居图学习一个参数映射
8.2 学习表示非线性流形
8.3 扩充模式化正切空间
9. 概率模型和直接编码模型的联系
9.1 PSD：概率解释
9.2 用规范化自编码捕获维度的局部结构
9.3 学习近似推理
9.4 抽样挑战
9.5 评估与监测性能
10.深度模型的全局训练
10.1 训练深度构架的挑战
10.2 DBMs的联合训练
10.2.1 平均场的近似推理
10.2.2 训练DBMs
11.基于不变性
11.1 生成变形的实例
11.2 卷积和池化
11.2.1 基于块的训练
11.2.2 卷积和平铺卷积训练
11.2.3 转换成池化
11.3 时序耦合和慢特征
11.4 解决变异因子的算法
12.结论
参考文献
[1]Representation Learning:A Review and New Perspectives
YoshuaBengio, Aaron Courville, and Pascal Vincent.IEEE TPAMI VOL. 35, NO. 8,AUGUST 2013