神经网络具有很强的非线性映射能力,受到了众多研究人员的关注,且已经成功应用于各个领域。最速下降法是神经网络训练中应用最为广泛的学习算法。对应两类不同的执行方式：批处理学习和增量学习。增量学习方式又包括固定次序、特定随机和完全随机三种形式。鉴于标准的反向传播神经网络的训练速度慢、泛化能力差的弊端,加入动量项、惩罚项是改进网络训练的常见方法。本文研究内容集中于前馈神经网络基于梯度法若干特定形式下的收敛性分析。本文结构与内容安排如下：第一章回顾神经网络的一些相关背景知识。第二章考虑双并联神经网络的批处理算法收敛性,给出了误差函数的单调性结论,并证明了该算法的弱收敛和强收敛性定理。通过数值实验验证了算法收敛性结论,同时比较了双并联神经网络同普通前馈神经网络在函数逼近和数据预测的性能表现。第三章考虑神经网络基于固定次序和特定随机算法的收敛性,给出了这两种算法的弱、强收敛性证明,即误差函数梯度趋于零和权值序列收敛到固定点。对比现有收敛性结果,在活化函数和学习率的限制上均有较大程度弱化；收敛性结果不仅包括对于S-S型神经网络(隐层和输出层活化函数均为Sigmoid型函数),并且包括P-P,P-S和S-P型神经网络,这里S代表活化函数是多项式函数。第四章考虑带动量项三层前馈神经网络,网络训练中样本分布按固定次序和特定随机次序呈现给网络。对每一个训练回合开始前,动量项因子采用重赋零策略。给出了相应的弱、强收敛性证明,且保证了动量项因子在更宽泛条件下的收敛性结论。并且,收敛性结论可以扩展至更多类型的神经网络。第五章考虑带惩罚项前馈神经网络,这里惩罚项取权值的二范数形式。学习过程对应固定次序和特定随机这两中算法。学习率参数放松为本身发散、平方收敛这一定性条件,相应的收敛性如弱、强收敛性均得到了证明。特别地,算法训练过程中的权值有界性结论得到了保证。