人工神经网络算法知识点总结
人工神经网络的许多算法已经在智能信息处理系统中被广泛采用,以下四种算法尤为突出: 是ART网络、LVQ网络、Kohonen网络Hopfield网络。 以下具体介绍这4种算法。
1 .自适应谐振理论(ART )网络
自适应谐振理论(ART )网络有不同的方案。 ART-1网络包括两个输入层和一个输出层。 这两个层完全互连,并且同时沿正向(自下而上)和反馈方向(自上而下)进行。
ART-1网络运行时,培训连续进行,包括以下算法步骤:
(1)对于所有输出神经元,如果一个输出神经元的所有警戒值都设置为1,则没有指定表示模式类型,因此称为独立神经元。
)2)给出新的输入模式x。
)3)使所有输出神经元都能参与激发竞争。
)4)从竞争神经元中找出获胜的输出神经元。 也就是说,如果开始该神经元的xw值最大的训练,或者没有更好的输出神经元存在,则优胜神经元可能是独立的神经元。
)5)检查该输入模式x是否与获胜神经元的警戒矢量v充分类似。
(6) rp,即有共振时,转移到步骤) 7; 否则,获胜的神经元将暂时失去竞争力,转到步骤(4),重复该过程直到不再存在更多有能力的神经元。
2 .学习向量量化(LVQ )网络
学习由输入转换层、隐含层和输出层三层神经元构成的向量量化(LVQ )网络。 该网络在输入层和抑制层间完全连接,在抑制层和输出层之间部分连接,每个输出神经元连接到不同的抑制神经元组。
最简单的LVQ培训步骤如下:
(1)预设参考向量的初始权重。
)2)向网络提供训练输入模式。
(3)计算输模式和各参考向量之间的Euclidean距离。
)4)更新最接近输入图案的参考向量(即胜利抑制神经元的参考向量)的权重。 如果胜利抑制神经元属于类似于输入模式的类、连接到输出神经元的缓冲区,则参考向量应该接近输入模式。 否则,参考向量将远离输模式。
(5)转到步骤) 2,以一种新的训练输入模式重复该过程,直到所有训练模式都被正确分类或满足某个终止标准。
3.Kohonen网络
Kohonen网络或自组织特征映射网络由两层组成:输入缓冲层和输出层,用于接收输入模式,输出层神经元通常按规则二维排列,每个输出神经元连接到所有输入神经元连接权重与已知输出神经元连接,形成参考向量的分量。
Kohonen网络的培训包括以下步骤:
(1)对所有输出神经元的参考向量预设较小的随机初始值。
)2)向网络提供训练输入模式。
)3)确定胜利的输出神经元,即参考向量与输入模式最接近的神经元。 参考向量和输入向量之间的Euclidean距离通常用作距离测量。
)4)更新胜利神经元参考向量及其邻居参考向量。 这些参考向量接近输入向量。 对于胜利参考向量,其调整最大,而对于距离较远的神经元,减小调整的神经元附近的大小随着训练的进行而相对变小,直到训练结束为止,胜利神经元的参考向量
4.Hopfield网络
Hopfield网络是典型的递归网络,通常只接受二进制输入(0或1 )和双极输入(1或-1)。 它包含单个神经元,每个神经元与所有其他神经元连接,形成递归结构。