由神经元的激活函数、拓扑结构、网络的学习算法及构成神经网络的方式不同,神经网络对信息处理的方法和能力也不同。几种典型的神经网络如下:
1. 前馈型分层网络(Multilayer Feed for wardNN or MFNN)
前馈型分层网络本质上是一种多输入、多输出的非线性映射,是目前应用较多的一种神经网络结构。
前馈型分层网络的节点分为两类,即输入单元和计算单元,每一个计算单元可以有任意多个输入,但只有一个输出(它可以耦合到任意多个其他节点作为其输入),输入和输出节点与外界相连,而其他中间层则成为隐含层。各神经元接受前一层的输入,并输出给下一层,没有反馈。图10-2给出了具有一个隐含层的图。
图10-2 具有一个隐含层的前馈型网络
前馈型分层网络在信号处理、非线性油画及系统辨识、非线性控制等领域具有广泛的应用前景。最常用的前馈型分层神经网络有BP神经网络(Backpropagation Neural Network)和RBF径向基函数网络(Radial Basis Function Neural Network)。
2. 反馈型分层网络
所有节点都是计算单元,同时也可以接受输入,并向外界输出。该网络是在前馈型分层网络基础上,将网络的输出反馈到网络的输入,反馈可以将全部输出反馈,也可以将部分输出反馈。所有节点都是计算单元,同时也可接受输入,并向外界输出。最典型的反馈神经网络就是Hopfield神经网络。
Hopfield神经网络主要用于模拟生物神经网络的记忆机理,是一种全连接型的神经网络。对于每一个神经元来说,自己的输出信号通过其他神经元又反馈到自己,是一种反馈型神经网络。Hopfield神经网络有离散型和连续型两种。Hopfield神经网络状态的演变过程是一个非线性动力学系统,可以用一组非线性差分方程或微分方程来描述。系统的稳定性可用所谓的“能量函数”(即李雅普诺夫获哈密顿函数)进行分析。在满足一定条件的情况下,某种“能量函数”的能量在网络运行过程中不断减小,最后趋于稳定的平衡状态。
目前,人工神经网络常利用渐进稳定点来解决某些问题。例如,如果把系统的稳定点视为一个记忆的话,那么从初态朝这个稳定点的演变过程就是寻找该记忆的过程。初态可以认为是给定的有关该记忆的部分信息。这就是联想记忆的过程。如果把系统的稳定点视为一个能量函数的极小点,则把能量函数视为一个求解该优化问题的过程。由此可见,Hopfield网络的演变过程是一种计算联想记忆或求解优化问题的过程。实际上它的解并不需要真的去计算,而只要构成这种反馈神经网络,适当地设计其连接权和输入就可以达到这个目的。