在对神经网络进行训练的过程中,梯度算法被应用得最广泛。本文主要针对Pi-Sigma、递归Pi-Sigma和Ridge Polynomial神经网络这几种不同的高阶神经网络,分析各自算法的收敛性、单调性等理论性问题。第一,对于Pi-Sigma神经网络模型,针对罚函数的缺点,提出了一种基于乘子法的随机单点的在线梯度算法。在此过程中,利用最优化方法,把约束问题转化成为无约束问题,使用乘子罚函数法克服了可能因初始权值选取不当而导致的收敛速度过慢问题。并且从理论上分析证明了本算法的收敛速度——线性收敛,最后的实验结果说明的此算法是有效性的。第二,由于传统的梯度算法收敛速度很慢,所以,文中提出一种将惩罚项加到传统误差函数的梯度算法,以训练递归pi-sigma神经网络,此算法不仅提高了神经网络的泛化能力,且克服了因网络初始权值选取过小而导致的收敛速度过慢的问题,其收敛速度也得到了很大提高。还从理论上证明了本算法的收敛性,最后,实验结果也说明了算法是有效的。第三,文中将梯度算法用来训练Ridge Polynomial神经网络,对误差函数和权值变化进行分析证明,并且提出了本算法的单调性定理、收敛性定理(包括强收敛性和弱收敛性)。最后,仿真实验结果对结论进行了验证。