人工神经网络在现代科学发展的多个领域都展现出了巨大的潜力,以误差反向传播算法(BP算法)作为学习算法的BP神经网络应用十分广泛,而在BP算法中添加动量项也已经是一种很常见的改进BP算法的方法,可以称之为动量BP算法。影响动量BP算法学习效率的因素有很多,包括网络的层数、激活函数和误差函数等,在实际应用中,经常通过不断尝试改变一些因素来使算法表现得更好,但是关于改变因素后算法的收敛性分析往往不能第一时间跟上。在本文中,我们首先对包含多隐藏层的带动量项的BP神经网络算法的收敛性进行了分析。当学习率为常数,动量系数在满足一定条件下自适应变化时,我们给出了算法的弱收敛结果以及强收敛结果,并对这两种收敛结果都给出了相应的理论证明。之后我们又进一步对带惩罚项的动量BP算法的收敛性进行分析,同样地,我们也给出了算法的弱收敛结果以及强收敛结果,并对收敛结果进行了理论证明。