我们在前面的《模型汇总_9 深度学习网络的表达方式汇总及模型分类方法》这篇文章中，指出了深度学习中常用的三种表示数据的方式，即局部表达、稀疏表达和分布式表达。深度学习强大建模和知识抽取的能力，主要原因之一就是它对观测样本X采用了有效的表达方式。数据的表达方式为什么如此重要？有效的表达方式可以简化我们处理问题的难度。比如，在NLP领域中，采用word2vec把词语表示成向量（vector）形式，要比采用one-hot形式表示词语具有很多优势：
1、可以基于vector直接计算词与词之间的相似程度，one-hot表达形式不可以；
2、word2vec表示的向量可以描述词与词之间的依赖关系，one-hot表达形式也不可以；
3、vector不存在one-hot中的高纬问题，计算效率更高。
表示（表达）学习（Representation Learning）是什么？为什么表示的概念有助于深度学习框架的设计？
表示学习，又称学习表示。在深度学习领域内，表示是指通过模型的参数，采用何种形式、何种方式来表示模型的输入观测样本X。表示学习指学习对观测样本X有效的表示。
表示学习有很多种形式，比如CNN参数的有监督训练是一种有监督的表示学习形式，对自动编码器和限制玻尔兹曼机参数的无监督预训练是一种无监督的表示学习形式，对DBN参数-先进性无监督预训练，再进行有监督fine-tuning-是一种半监督的共享表示学习形式。
表示学习中最关键的问题是：如何评价一个表示比另一个表示更好？表示的选择通常通常取决于随后的学习任务，即一个好的表示应该使随后的任务的学习变得更容易。以基于CNN的图像分类任务为例。模型可以分为基于CNN的特征抽取和基于softmax回归的线性分类两个部分。通过模型参数有监督的训练，通过CNN，从线性不可分的图片里抽取出线性可分表示（特征），softmax线性分类器可以基于抽取的线性可分的表示进行分类。
表示学习中axdxyz一种形式是涉及多个任务的共享表示学习。为什么？
以无监督和有监督结合的共享表示学习为例。在深度学习任务中，我们通常有大量的无标签的训练样本和少量的有标签的训练样本。只在有限的有标签的训练样本上学习，会导致模型存在严重过拟合问题。共享表示具体来说，可以从大量无标签的观测样本中通过无监督的方法，学习出很好的表示，然后基于这些表示，采用少量有标签的观测样本来得到好的模型参数，缓解监督学习中的过拟合问题。
共享表示学习涉及多个任务，多个任务之间共享一定相同的因素，比如相同的分布（distribution）、观测样本X来自相同的领域（domain）等。共享表示学习有多种表示形式。假设共享表示学习中采用训练样本A进行无监督学习，训练样本B进行有监督学习。样本A和样本B可能来自相同的领域，也可能来自不同的领域；可能任务服从相同的分布，也可能服从不同的分布。
共享表示学习相关的机器学习技术有很多：迁移学习（Transfer Lear）、多任务学习（Multitask Learning）、领域适应性（Domain Adaptation）（One Shot Learning、Zero Shot learning）等。深度学习技术具有很强的特征抽取、知识表达的能力，是共享表示学习的利器，它可以有效抽取多个人任务之间共享的因素、知识或特征。因此，现在出现了很多将深度学习技术用于迁移学习、多任务学习技术中的研究。
下期预告：下一期将详细介绍迁移学习（Transfer Lear）、多任务学习（Multitask Learning）、领域适应性（Domain Adaptation）（One Shot Learning、Zero Shot learning）技术，以及它们之间的关系。
往期精彩内容推荐：
《纯干货-6》Stanford University 2017年最新《Tensorflow与深度学习实战》视频课程分享<模型汇总-10> Variational AutoEncoder_变分自动编码器原理解析
<纯干货-5>Deep Reinforcement Learning深度强化学习_论文大集合
<模型汇总-9> VAE基础：LVM、MAP、EM、MCMC、Variational Inference（VI）
更多深度学习在NLP方面应用的经典论文、实践经验和最新消息，欢迎关注微信公众号“深度学习与NLP”或“DeepLearning_NLP”或扫描二维码添加关注。