一般传统神经网络(BP、FNN网络等)的缺点) a .其抑制层一般不超过2层。 神经元数量增多时，由于使用全连接且权重不共享，模型参数急剧增加，采用随机梯度下降法可能不容易找到最优解。 随着层数变多，初始化权重变小，有可能陷入局部最佳。 b .这里论述生成模型和判别模型。 通用建模(* *生成模型(* ) )和离散时间建模(* ) )，以下简称GM和DM。 GM从训练数据中学习联合概率分布p(x，y )，求出条件概率分布p ) y|x )作为预测的模型，即生成模型。 在此处书写图片说明(3359 img-blog.csdn.net/20171129110359866 )？ watermark/2/text/a hr0 CD ovl 2js B2C uy 3n kbi5uzxqvdtaxmjc0njy wnw==/font/5 a6l 5l 2t/fontsize/400/fill/I0jbqkfcma=判别模型是从训练数据中直接学习决定函数f[x]或条件概率分布p[x，y]来进行预测的模型。 模型很关心对于给定的输入x，应该预测什么样的输出y，与GM的区别在于不需要先学习联合分布p[x，y]。 典型的判别模型是k近邻法、感知机、决策树、逻辑回归、最大熵、SVM、AdaBoost和条件随机场等。 传统的判别模型需要很多训练样本。 然而，在现实的APP应用中，获取样本数据(除了图像、音频等之外)并不是一件容易的事。 深度学习的出现有效地解决了以上两个问题。 1. 玻尔兹曼机RBM
简单地说，RBM分为可见层v和隐藏层h两层。 层内节点之间没有连接，层间节点完全连接。
RBM的用途主要有两种，一种是对数据进行编码，交给监控学习方法进行分类和回归，另一种是为BP神经网络的初始化训练得到了权重矩阵和偏移量。
2. 深度信念网络DBN
信念网络是概率生成模型，相对于传统判别模型的神经网络，生成模型既建立了观察数据与标签之间的耦合分布，又建立了p (observation )和p (label ) observation ) 这些网络“限制”在可见层和隐藏层中，层间有连接，但层中的单元之间没有连接。 隐藏层单元被训练为捕捉在可见层中表示的高阶数据的相关性。 在此处书写图片说明(3359 img-blog.csdn.net/20171129110859119 )？ watermark/2/text/a hr0 CD ovl 2js B2C uy 3n kbi5uzxqvdtaxmjc0njy wnw==/font/5 a6l 5l 2t/fontsize/400/fill/I0jbqkfcma=watermark/2/text/a hr0 CD ovl 2js B2C uy 3n kbi5uzxqvdtaxmjc0njy wnw==/font/5 a6l 5l 2t/fontsize/400/fill/I0jbqkfcma=对各层RBM网络分别进行无监督训练，确保特征向量映射到不同特征空间时保留尽可能多的特征信息；
步骤2 )在DBN的最后一层设置BP网络，接收RBM的输出特征向量作为其输入特征向量，对实体关系分类器进行监督训练。 此外，每一层RBM网络只确保其层内的权重对于该层的特征向量映射是最优的，而不总是对于DBN整体特征向量映射是最优的。 因此，反向传播网络还自上而下地向每一层RBM传播错误信息，以微调整个DBN网络。 RBM网络训练模型的过程可以看作是深层BP网络权重参数的初始化，DBN克服了由于随机初始化权重参数，BP网络容易陷入局部最优、训练时间长的缺点。
在上述培训模型中，第一步称为预培训，第二步称为微调。 最上面是监督学习的层，根据具体的应用领域，可以用任何分类器模型代替BP网络。
举个例子：
上图为三隐层DBN，首先通过积累RBM的方式进行无监督学习，最上层2000个神经元学习了数字特征，这就是生成模型。 然后，根据这2000个学习的特点，在DBN的最上层增加了一层Softmax分类器，并采用BP算法进行微调，使损失函数最小。 简而言之，深度网络是特征提取。 只是，以前这个步骤是人工设计的。 有些潜在特征可能无法通过人工设计发现。 就我个人而言，我认为深度学习的目的也在于此。