人工神经网络的发展主要经历了兴起、高潮、低谷、再次兴起四个阶段。如果说它的第一次兴起主要是由于人们对起的新奇而普遍感到好奇的话,那么它的第二次兴起则主要是由于人们在许多地方遇到了困难,而且人工神经网络能够较好地解决这些难题,即由于它的实用价值。对于应用最为广泛的BP神经网络来说,它也有权值太大,收敛速度慢,会陷入局部极小值等常见问题。为了解决这些问题,我们通常在误差函数后面加入惩罚项。但在得到网络权值的有界性,算法的收敛性等结论的时候,往往需要比较严苛的条件本文把Armijo-Wolfe规则应用到加入带惩罚项的神经网络的算法中,并在较为宽松的条件下得到了关于有界性,收敛性等一系列结论。本文的主要结构如下：1.第一章对神经网络做一个简单介绍,包括神经网络发展阶段,神经网络的不同网络模型等等。2.第二章把Armijo-Wolfe规则应用到带一般惩罚项的神经网络中,在更为宽松的条件下,证明了权值的有界性,神经网络的强弱收敛等。3.第三章考虑更加一般性惩罚项,并且把Armijo-Wolfe规则应用到其中的带L1/2惩罚项的神经网络中,证明了网络权值的有界性,网络的收敛性等。