具有层次结构的数学算法：
神经网络 到深度神经网络DNN
限制深度波尔茨曼机 到深度波尔茨曼机DBM
限制深度波尔茨曼机 到深度置信网络DBN
也有其他方法，考虑到小学生是浅学，暂时涵盖全部。
4.1深度神经网络（Deep neural network）
深度学习的概念来源于人工神经网络的研究。 含有多隐层的多层传感器是深度学习结构。 深度学习通过将低层特征组合起来，形成更抽象的高层表示属性类别或特征，从而发现数据的分布式特征表示。
深度学习本身是机械学习的一个分支，可以很容易地理解为神经网络的发展。 大约在二三十年前，神经网络曾经是ML领域的热门方向，但后来逐渐消失。
深度学习与传统神经网络之间有很多相同之处。 两者的共同点是深度学习采用了神经网络相似的层次结构。 系统是由输入层、隐藏层(多层)、输出层组成的多层网络，只有相邻层的节点之间连接，同一层和不同层的节点之间不相互连接，各层可以看作一个逻辑注册模型这个层次结构比较接近人脑的结构。
(3深度学习基本思想：层次特征表示)； 假设存在具有n层(S1，…Sn )的系统s，其输入为I，输出为o。 在示意图上表示如下。
I=S1=S2=….=Sn=O，
在上图的深度神经网络中，中间层(除了最初的输入层和最后的分类输出层)各层是系统s的特征表现。
="color:rgb(51,51,51); font-family:Arial; font-size:14px; line-height:26px"> 4.2 深度波尔茨曼机Deep Boltzmann Machine(DBM)假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann 分布，我们称这个模型是Restricted BoltzmannMachine (RBM)。
下面我们来看看为什么它是Deep Learning方法。首先，这个模型因为是二部图，所以在已知v的情况下，所有的隐藏节点之间是条件独立的（因为节点之间不存在连接），即p(h|v)=p(h1|v)…p(hn|v)。同理，在已知隐藏层h的情况下，所有的可视节点都是条件独立的。同时又由于所有的v和h满足Boltzmann 分布。
因此，当输入v的时候，通过p(h|v) 可以得到隐藏层h，而得到隐藏层h之后，通过p(v|h)又能得到可视层，通过调整参数，我们就是要使得从隐藏层得到的可视层v1与原来的可视层v如果一样，那么得到的隐藏层就是可视层另外一种表达，因此隐藏层可以作为可视层输入数据的特征，所以它就是一种Deep Learning方法。
如果，我们把隐藏层的层数增加，我们可以得到Deep Boltzmann Machine(DBM)；如果我们在靠近可视层的部分使用贝叶斯信念网络（即有向图模型，当然这里依然限制层中节点之间没有链接），而在最远离可视层的部分使用Restricted Boltzmann Machine，我们可以得到DeepBelief Net（DBN）。
4.3深度置信网络（Deep Belief Network）
DBNs是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。
DBNs由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。
DBNs的灵活性使得它的拓展比较容易。一个拓展就是卷积DBNs（Convolutional Deep Belief Networks(CDBNs)）。DBNs并没有考虑到图像的2维结构信息，因为输入是简单的从一个图像矩阵一维向量化的。而CDBNs就是考虑到了这个问题，它利用邻域像素的空域关系，通过一个称为卷积RBMs的模型区达到生成模型的变换不变性，而且可以容易得变换到高维图像。DBNs并没有明确地处理对观察变量的时间联系的学习上，虽然目前已经有这方面的研究，例如堆叠时间RBMs，以此为推广，有序列学习的dubbed temporalconvolutionmachines，这种序列学习的应用，给语音信号处理问题带来了一个让人激动的未来研究方向。
目前，和DBNs有关的研究包括堆叠自动编码器，它是通过用堆叠自动编码器来替换传统DBNs里面的RBMs。这就使得可以通过同样的规则来训练产生深度多层神经网络架构，但它缺少层的参数化的严格要求。与DBNs不同，自动编码器使用判别模型，这样这个结构就很难采样输入采样空间，这就使得网络更难捕捉它的内部表达。但是，降噪自动编码器却能很好的避免这个问题，并且比传统的DBNs更优。它通过在训练过程添加随机的污染并堆叠产生场泛化性能。训练单一的降噪自动编码器的过程和RBMs训练生成模型的过程一样。
参考文献：http://blog.csdn.net/zouxy09/article/details/8775518