论文部分内容阅读
前馈神经网络是目前应用最广泛的一种神经网络模型,模糊感知器和Ridge Polynomial神经网络就是这样的两类前馈神经网络。本文对这两类神经网络的学习算法进行研究,分析各自算法的收敛性问题。
本研究将神经网络的异步梯度算法应用到Ridge Polynomial神经网络的训练中,对网络误差函数及学习方法进行分析,给出训练过程中误差函数的单调性定理。在证明单调性成立的基础上,进一步分析算法的收敛性并给出证明,最后的仿真实验验证了理论分析的正确性。传统的梯度算法存在收敛速度过慢且易陷入局部极小点的缺点,动量项是解决该问题的有效方法之一。将动量项加入到梯度算法中,用改进后的异步梯度算法来训练Ridge Polynomial神经网络,有效提高了网络的收敛速度。并且从理论上分析了改进后算法的单调性和收敛性,最后,仿真对比实验结果也说明带动量项异步梯度算法是高效的。提出了一种训练最大-乘积型的模糊感知器的学习算法,给出了训练样本模糊可分的充要条件,并在训练样本模糊可分的条件下分析了算法的有限收敛性,仿真实验也有效的验证了理论结果。