本文采用在线梯度法对网络进行学习，也就是每输入一个样本就对权值进行一次调整。在训练中加入随机输入是为了使网络更容易跳出局部极小。而加入惩罚项则可提高整个网络的泛化能力，也就是提高测试样本的实验正确率。带惩罚项的两层BP神经网络以及带随机输入的三层BP神经网络中在线梯度法的收敛性已经分别在文[1]和[2]中做了详细介绍。本文推广这些结果，给出了三层BP神经网络中带惩罚项和随机输入的在线梯度法的一些收敛性结果，其中包括：每一轮输入之后误差函数的单调性定理，算法的弱收敛性和强收敛性定理。 高阶神经网络(Higher-orderNeuralNetwork，HONN)的提出是为了提高前馈型神经网络的非线性分类能力。作为一种HONN，Pi-Sigma神经网络(Pi-SigmaNeuralNetwork，PSNN)保持了多层高阶网络强大的学习能力，又避免了随着输入样本维数的增加权值的组合性增长[3，4]。它在解决分类和函数逼近问题上也有比较好的效果[3,5]。目前，此种网络尚未得到广泛的研究，其中算法的收敛性理论结果亦无人给出。采用梯度下降法算法对网络进行学习，得到了类似于BP神经网络的收敛性结果。