论文部分内容阅读
人工神经网络从着手研究到现在,已有五十多年的发展史.虽然几经坎坷,但随着众多学者的不懈努力,不但在理论上为神经网络的发展打下了坚实的基础,而且在信号处理、计算机视觉、模式识别、专家系统与气象预测等许多领域有着广泛的应用.用神经网络来解决组合优化问题一直都是神经网络研究领域的一个热点话题.研究其相关应用及算法优化,无论对神经网络理论的发展,还是对神经网络技术的实际应用,都具有特别重要的意义.Hopfield神经网络是当前研究最为广泛的一种人工神经网络,并已被人们应用联想记忆和解决优化问题中.但是在实际应用中,这种经典的神经网络存在着诸多缺陷,其中之一就是随着所解决问题规模的增大,Hopfield网络的收敛速度会大大降低.基于以上问题,该文做了如下两方面的工作:对于前向神经网络(如BP网络),目前已有很多训练或学习算法,其中基于梯度下降的算法是普遍采用的方法之一.而在网络学习过程中,尤其在训练样本很大的时候,网络的收敛速度减慢.基于此,很多学者已经提出了诸多算法来加速BP网络的收敛,如附加冲量法、自适应参数法等.该文的前一部分,将通过推导,证明在Hopfield神经网络中,网络输出的增加值相对于网络能量函数的变化过程来说也是一个梯度下降的过程.该文的后半部分提出了一种基于梯度下降的算法来加速Hopfield神经网络的收敛过程.为了达到这个目的,引入了步长参数,它根据能量函数的梯度信息而进行适当的调整.整个算法由两个阶段组成,分别是当网络中能量函数处于平缓区时的加速阶段和当跳过一个能量极小值后的回溯阶段.文中还针对算法中的各项参数进行了讨论,以期望对算法的优化达到最佳效果.最后,文中用计算机语言实现了一个Hopfield网络的仿真程序.并将文中所提出的算法应用到一些经典组合优化问题上,所得到的结果证明此加速算法是有效的.