论文部分内容阅读
近几年,关于神经网络的研究取得了令人瞩目的进展,引起了包括计算机科学、脑神经科学、人工智能等学科领域内的科学家的巨大热情和广泛兴趣。神经网络是人类对其大脑信息处理机制的模拟,希望通过模拟人脑的结构和思维来实现它的功能,其理论的应用已渗透到各个领域。BP神经网络是目前神经网络理论发展最完善、应用最为广泛的网络,其误差反传的特性能够解决加入隐含层之后的学习问题,其实质是采用梯度下降法使权值的改变总是朝着误差变小的方向改进,最终达到最小误差。由于它采用非线性规划中的最速下降法,因而存在极易陷入局部极小的缺陷,并且收敛速度很慢。BP神经网络在处理非结构性问题方面有着突出的优点,正是由于BP神经网络本身的并行性和鲁棒性为解决非结构性问题提供了一条颇具潜力的新途径,引起了人们的巨大兴趣。因此可结合并行计算机的思想,设计有效的并行结构用于BP神经网络的训练,加速其学习速度及提高精度,更有效地找到全局最小。并行机可分为SIMD和MIMD系统,在并行机发展的初期,SIMD类型并行机对其发展起到了重要的推动作用,但随着微处理芯片技术的发展,90年代以后,单处理机性能得到了极大地提高,也因此导致并行机朝MIMD方向发展,SIMD并行机基本退出了历史舞台。然而就结构上讲,两者各有优缺点,可结合两者的优点设计新的并行结构以解决某些特定问题。本文对神经网络的历史概况、基本原理以及神经网络的应用领域进行了简单的介绍,并详细叙述了各类神经网络模型、神经网络的学习规则。介绍了BP神经网络的基本原理,分析了算法推导过程及其优缺点,针对BP网络的缺陷综述了各种有效的改进算法。对目前流行的并行机作了一些介绍,详细分析了各种并行结构的组成及特点,并对其进行比较。阐述了并行思想在很多领域的广泛应用。本文结合新的并行结构模型对BP网络进行优化,提出一种基于并行策略的算法,使多个结构相同的网络同时并行参与训练,从而加快收敛速度,通过在串行机上进行模拟实验和其它BP改进算法进行比较,并将其用于函数逼近,提高了训练速度和精度,验证了该算法的有效性。