论文部分内容阅读
人工神经网络是近年来的热点研究领域,其应用领域诸多,包括:信息处理、材料学、交通、经济等,并在不断拓展。在众多的神经网络中,又以BP(BACK-PROPAGATION,简称BP)神经网络的应用最为广泛,它所采用的基于误差逆传播的学习算法也被广泛运用于各种神经网络之中。这类学习算法具有很好非线性映射能力、泛化能力和容错能力。但由于BP算法采用梯度下降算法作为学习算法规则,因而存在收敛速度慢以及容易陷入局部极小等缺点,而且它的网络结构也没有统一的理论作为指导,这些缺点极大的影响了BP神经网络的应用和普及。本文分析研究了BP算法的原理、相关改进方法。在此基础上,分别构想了一种基于误差率的复合误差函数用于改善BP算法容易陷入局部极小值的缺陷和一种分层动态对学习率进行调整的方法用于提高BP算法的收敛速度。最后从算法融合的角度出发,在对标准遗传算法的关键算子进行了改进的基础上,构造了一种基于改进遗传算法的BP神经网络模型。本文的主要研究工作如下:(1)回顾了BP神经网络的生物神经网络理论基础,对人工神经网络理论进行概述。其中重点研究了BP神经网络模型,对其推导过程进行了详细分析,论述了该算法的局限性,为下步改进奠定基础。(2)针对BP算法存在的容易陷入局部极小值现象,构想了一种基于误差率的复合误差函数。该复合误差函数将隐含层的特殊性考虑进来,定义了隐含层的误差函数Ehidden,定义了衡量误差大小的因子—误差率。以误差率为权重,根据输出层和隐含层的误差大小,对权值进行最适合的调整,从而保证算法始终能对权值进行最合适的调整;针对BP算法存在的收敛速度过慢现象,构想了一种分层动态调整学习率的方法。该方法为隐含层和输出层分别设置了不同学习率,并且会根据误差大小,以及误差的趋势分别对隐含层和输出层的学习率进行动态调整。这就有效的避免了标准BP算法中,静态学习率带来的收敛速度过慢问题。(3)将擅长全局搜索的的遗传算法和局部寻优能力较强的BP算法相结合,构造了一种基于改进的遗传算法的BP神经网络模型。该模型通过采用递阶编码、基于误差的适应度函数、自适应的交叉算子,来优化BP网络的结构和权值选取。(4)最后将本文构造的改进的遗传算法的BP神经网络模型应用于煤炭瓦斯浓度预测,对该模型的有效性进行了验证。