论文部分内容阅读
BP神经网络是目前应用最广泛的前馈神经网络模型之一。但其收敛速度慢也成为它的一个重要局限。高阶神经网络既拥有比BP神经网络更强的非线性分类能力，又将训练时间大大减少。Pi-Sigma神经网络(Pi-Sigma Neural Network，简称PSNN)是Y.Shin和J.Ghosh在1991年提出的一种新的高阶神经网络。它的结构是简单的单层感知器，因此收敛速度快。同时又具有高阶神经网络特有的强非线性映射能力，而且避免了高阶神经网络存在的“维数灾难”问题。Pi-Sigma神经网络和以其为模块构造的神经网络广泛应用于求解各种分类和逼近问题。关于神经网络的收敛性，以往的结论往往是概率性的。近年来，吴微教授等人在BP神经网络确定性收敛方面做了大量的工作，也得到了许多成果。但关于高阶神经网络尤其是Pi-Sigma神经网络的确定收敛性方面的工作才刚刚开始。关于Pi-Sigma神经网络离线梯度法和顺序样本输入在线梯度法的收敛性结论已经分别在文献[12]和[13]中给出。本文推广了这些结果，给出了Pi-Sigma神经网络随机输入在线梯度法的收敛性结论及证明。其中包括：每一轮输入后误差函数的单调递减性，以及该算法的弱收敛性和强收敛性。另外，本文通过数值试验给出了学习率和初始权值对Pi-Sigma网络收敛性的影响，并对这些现象进行了分析，给出了一些改进方法和解决措施。