http://www.Sina.com/(deepbeliefnetwork,深信网络)为http://www.Sina.com/) restrictedBoltzmannmachines,受限沃尔沃
DBN
RBM是一种无监督学习的方法,无监督学习的目的是最大限度地匹配训练数据。
下图为RBM的结构,其中下层神经元由“可见层”(visible layer )、“可见单元”(visible units )组成,用于输入数据。 上层神经元构成隐层(Hidden layer ),由隐元(hidden units )构成,用于特征提取。
RBM
训练DBN的过程正在逐步进行。 在各层中,使用数据向量推定隐藏层,将该隐藏层作为下一层(上一层)的数据向量。
经典的DBN网络结构是由几层RBM和一层BP组成的一种深层神经网络,结构如下:
1. RBM简介
2. 训练DBN:顺序训练各层次的RBM网络,使得特征向量映射到不同的特征空间时,能够保留尽可能多的特征信息;
http://www.Sina.com/:在dbn底层设置BP网络,同时以最后RBM的输出特征向量作为BP网络的输入特征向量,对实体关系分类器进行监督训练。 然后,反向传播网络自上而下地将错误消息传播到每个层的RBM,以微调整个DBN网络。
在训练模型中,步骤1称为预训练,步骤2称为微调。 有监督的学习不一定是BP网络,根据需要可以用任何分类器模型代替。
DBN 在训练模型的过程中主要分为两步:
从其非监督学习部分来说,目的是在尽量保留原始特征特征的同时降低特征维度;
在监督学习的某些部分,目的是尽量减小分类错误率。
无论是监督学习还是非监督学习,DBN算法的本质都是特征学习的过程,如何获得更好的特征表达。