深度神经网络已经在语音识别、图像识别等领域取得了前所未有的成功。 我也在很多年前接触过神经网络。 本系列文章主要记录自己对深度神经网络的学习心得。
简述深度神经网络模型。
1 .自联想神经网络和深度网络
自联想神经网络是一种非常古老的神经网络模型，简单地说，它是三层BP网络，其输出只不过等于输入。 在很多情况下，我们不需要输出正确的等于输入，并且允许存在一定的误差。 所以说输出是输入的重构。 其网络结构可以简单地表示为：
如果在上述网络中不使用sigmoid函数而使用线性函数，则这就是PCA模型。 中间网络节点数是PCA模型中的主要成分数。 不用担心学习算法会达到局部最优收敛。 因为线性BP网络有唯一的极小值。
在深度学习术语中，上述结构称为自编码神经网络。 从历史上看，自编码神经网络是几十年前的事了，没有什么新鲜的地方。
既然自联想神经网络能够实现输入数据的重构，那么只要训练了这个网络结构，其中间层就可以看作是原始输入数据的某种特征表现。 去掉那个第三层，这就变成了双层网络。 如果，我们学习这个特征后用同样的方法制作自我联想的3层BP网络。 如上图所示。 也就是说，第2次制作的3层联想网络的输入是当前网络中间层的输出。 使用类似的训练算法学习第二个自联想网络。 那么，第二个自我联想网络的中间层是对于其输入的某种特征表现。 通过这种方法，如下图所示，依次创建多个由这种自我关联网络构成的网络结构，这就是深度神经网络。
请注意，构成上图中深度网络的最后一层是级联的softmax分类器。
深度神经网络是每层最原始输入数据在不同概念上的粒度表示，也就是不同层次的特征描述。
这种层叠多个自联想网络的方法最初是由Hinton考虑的。
从上面的描述可以看出，深度网络是分级训练的，包括最后一层的分类器也是单独训练的，并且最后一层的分类器可以被诸如SVM、HMM等任何分类器替换。 上面的每一层都是单独训练并使用BP算法。 相信这个想法，Hinton早就做了实验。
2. DBN神经网络模型
利用BP算法对各层分别进行训练，发现级联自联想神经网络，必须舍弃网络的第三层。 但是，有更好的神经网络模型。 这就是限制性玻尔兹曼机。 用层叠朴素的雨构成深度神经网络的方法在深度学习中被称为深度信念网络DBN，是目前非常流行的方法。 在以下术语中，自联想网络被称为自编码网络autoencoder。 通过层叠自编码网络的深度网络在深度学习中被称为堆栈型自编码网络。
经典的DBN网络结构是由几层RBM和一层BP组成的一种深层神经网络，结构如下：
DBN在训练模型的过程中主要分为两个阶段：
步骤1 )无监督地单独训练每一层RBM网络，使得特征向量映射到不同特征空间时保留尽可能多的特征信息；
步骤2 )在DBN的最后一层设置BP网络，接收RBM的输出特征向量作为其输入特征向量，对实体关系分类器进行监督训练。 此外，每个层的RBM网络只确保它自己的层内的权重对于该层的特征向量映射是最优的，而不总是对于DBN整体特征向量映射是最优的。 因此，反向传播网络还自上而下地向每一层RBM传播错误信息，以微调整个DBN网络。 RBM网络训练模型的过程可以看作是深层BP网络权重参数的初始化，DBN克服了由于随机初始化权重参数，BP网络容易陷入局部最优、训练时间长的缺点。
上述训练模式中，第一步在深度学习中的术语称为预训练，第二步称为微调。 最上面是监督学习的层，根据具体的应用领域，可以用任何分类器模型代替BP网络。
3 .深度信念网络的应用
由于自编码网络可以将原始数据抽象为不同概念的粒度，因此深度网络的一个自然应用是压缩数据，或者降低数据的维度。
的盒饭等，他们用一种自编码网络实现了经典的“瑞士卷”数据重构：
《瑞士卷》数据是经典机器学习难以分类的数据之一，其隐含的数据内在模式难以用二维数据描述。 但是，美丽的便当等，采用了深刻的信念网络实现了三维滚动数据的二维表示，其自编码网络节点的大小顺序为3-100-50-25-10-2。 有关具体实现的详细信息，请参见
考文献：动听的便当、迷你的长颈鹿：基于autoencoder网络的数据降维与重构。
深度神经网络的另一个常见的应用是特征提取。
文献：Philippe Hamel and Douglas Eck, LEARNING FEATURES FROM MUSIC AUDIO WITH DEEP BELIEF NETWORKS.
通过训练一个5层的深度网络提取音乐的特征，用于音乐风格的分类，其分类精度比基于安静的小鸽子倒谱系数特征分类的方法提到了14个百分点。
他们的实现思路非常简单，用上述层叠的多个RBM网络组成深度网络结构来提取音乐的特征。输入的原始数据是经过分帧，加窗之后的信号的频谱。分类器采用的是支撑矢量机SVM。对比的方法则是提取MFCC特征系数，分类器同样采用SVM。更多的细节和实验结果可以参考上面提到的文献。
深度网络是一种良好的无监督学习方法，其特征提取功能能够针对不同概念的粒度大小，能够在很多领域得到广泛的应用。通常，DBN主要用于对一维数据的建模比较有效，例如语音。而通过级联多层卷积网络组成深度网络的模型主要用于二维数据，例如图像等。
通过下面的图以及上面的内容，可以更加深入的理解DBN：深度信念网络算法。
参考文献：
[1]Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, vol. 313, pp. 504-507, 2006.
[2]Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets. Neural computation, vol. 18, pp. 1527-1554, 2006.
[3]Xie, Jipeng, et al. "Learning features from High Speed Train vibration signals with Deep Belief Networks." Neural Networks (IJCNN), 2014 International Joint Conference on. IEEE, 2014.
[4]Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep networks. Advances in neural information processing systems, vol. 19, pp. 153-160, 2007.
[5]Salakhutdinov R. Learning deep generative models. Diss. University of Toronto, 2009.
[6]Hinton G. A practical guide to training restricted Boltzmann machines. Neural Networks: Tricks of the Trade, pp. 599-619, 2012.
[7]Bengio Y. Learning deep architectures for AI. Foundations and trends® in Machine Learning, vol. 2, pp. 1-127, 2009.
[8]http://blog.csdn.net/celerychen2009/article/details/9079715