神经网络算法今年来被国内外学者大量的研究和讨论,在学术领域中属于智能算法和人工智能的重要组成部分,其被广泛的用于机器学习、模式识别、数据挖掘领域等领域,不仅如此,神经网络算法因为强大的建模能力,也快速的蔓延向其他学科。本文重点研究最具有代表性的BP神经网络算法,从单神经元的线性拟合能力开始到多层多神经元的非线性的问题解决的论证,经过对BP神经网络算法的推导,详细的解释了算法原理,在这个过程中暴露出了算法各方面的缺点,比如梯度下降法收敛慢,训练时间长等问题。论文针对这些缺点,介绍并研究了大量学者的改进工作,其中最重要的将BP神经网络算法中的目标函数最小值的求解问题单独抽象出来,成为无约束非线性的最优化问题,由此引入最优化理论来对此进行了深入的研究,利用理论中的牛顿法、拟牛顿法、共轭梯度法来计算目标函数最值的方向,结合线搜索法和信赖域方法确定该方向上的步长,解决了梯度下降的固有问题；对于激活函数的介绍了其选择标准和近期提出的一些更利于收敛的新型函数方程；针对学习速率和动量因子介绍了一些自适应的方法,可以随着神经网络训练而改变自身以更优于收敛；针对目标函数的解搜索策略,引入了一些启发式的算法如遗传算法和模拟退火算法,从另一方面来搜索解空间,最终也能得到不错的收敛；此外还讨论了网络结构和初始值的选择。经过这些研究,BP神经网络的各个组成部分如同零件可以按需拆解和组合,对于BP神经网络的了解更加深入。论文特别的针对BP神经网络算法难以跳出局部最优点的缺点,先找到该问题存在的根源,介绍了现有的解决方案,之后提出了近域去重法改进的BP神经网络算法,利用爬坡法和遗传算法搜索解空间,并使用近域去重法来去掉重复的解。文中对这种方法进行了详细的介绍,之后结合拟牛顿下降法和Levenberg-Marquardt法用以改进BP神经网络,使用足够的实验对比的方式来证明新算法的优势,对比结果说明,改进的BP神经网络算法拥有更强大的收敛能力,其最终得到的解优于最开始得到的局部最优解,验证了所提出方法的有效性。