论文部分内容阅读
随着BP神经网络研究的逐渐深入,泛化能力作为它的一个重要评价指标也引起了人们的广泛讨论。泛化能力体现了神经网络识别训练集合以外的样本集合的能力,它对神经网络能否应用在实际的生产中起着决定性的作用。BP神经网络的泛化能力比较敏感,容易影响到神经网络的稳定度,反映在BP神经网络中表现为容易陷入到局部极值中、训练速度较慢等,这些都制约着BP神经网络发展。人们尝试利用模拟退火、遗传算法等多种方法对BP神经网络的拓扑结构、学习方法等方面进行改进,使得它能够快速、准确的进行拟合和预测,并以此来增强BP神经网络自身的泛化能力。本文主要研究了影响BP神经网络泛化能力的因素,包括样本空间、初始权值、网络结构参数等几个方面,并针对BP神经网络训练速度较慢、网络结构难以确定、易陷入局部极值等问题,提出了三种独立的改进算法:基于PCA的GA-BP神经网络改进算法、自确定结构参数的GA-BP神经网络改进算法和自确定结构参数的PCA-GA-BP神经网络改进算法。其中,基于PCA的GA-BP神经网络改进算法是通过主成分分析方法对BP神经网络的样本空间进行合理降维和去噪,并利用遗传算法逐步迭代出优化的初始权值,减少了网络训练时间,并有效避免了神经网络陷入到局部极值中;自确定结构参数的GA-BP神经网络改进算法是在一种自确定BP神经网络隐层及隐层单元的数目方法的基础上,结合遗传算法提出的,该算法将传统的三层BP神经网络扩展成为三层/四层BP神经网络,提高了网络的预测准确性;而自确定结构参数的PCA-GA-BP神经网络改进算法则在自确定结构参数的GA-BP神经网络改进算法的基础上,加入主成分分析方法,从样本空间、初始权值和网络结构参数三个方面对BP神经网络进行改进,使得BP神经网络的训练速度有所加强。本文通过大量数据验证了三种改进算法改进BP神经网络泛化能力的有效性,并针对不同的样本数据对三种改进算法的预测准确率进行比较,总结了每种算法适应的条件和各自的特点。