论文部分内容阅读
过程神经元网络(PNN)是人工神经元网络的一种泛化模型。一个能有效训练PNN网络结构和权函数的学习算法是发挥PNN强大逼近能力的关键。PNN的现有学习算法主要基于“正交基函数展开”的思想,其中不但需要手动调节多个参数,而且受到梯度下降法的制约,很难充分发挥PNN的潜力。
为了给PNN设计出更有效的学习算法,本文分析并利用了机理简单,解决复杂优化问题效果明显的粒子群优化算法(PSO)。PSO利用粒子群体合作的优势在没有集中控制的前提下为寻找复杂问题的解决方案提供了新的思路。本文基于对PNN和PSO的研究,为PNN提出了两种新的基于粒子群优化的过程神经网络学习算法。新算法在三个实际应用中都展示了比已有算法更好的性能,证明它们能够更好的发挥PNN的强大能力。本文的主要贡献如下:
1.分析和改进了经典粒子群算法
本文基于经典PSO模型提出了两种改进算法:放大镜粒子群优化(MPSO)和随机黑洞粒子群优化(RBH-PSO)。两种改进的核心思想都在于增强对于种群最优粒子所含信息的利用,其中MPSO使用放大镜算子对最优粒子周围区域进行放大,而RBH-PSO引入随机黑洞模型加强对最优粒子周围区域的开发。在多个测试函数上的实验结果表明改进模型在求解速度和精度上都明显优于经典模型。
2.理论分析了标准粒子群算法,提出了新的改进模型
本文通过对标准PSO模型(SPSO)搜索行为的理论分析,首次正式地提出了粒子搜索过程中“探索”和“开发”工作的数学化定义,并模拟了SPSO主要参数与这两项工作分配的关系,进而提出了在具体应用中调整SPSO参数的指导准则。此外,基于上述定义,本文又对PSO模型搜索过程进行分析,并提出了分阶段自适应粒子群优化算法(ASPSO)。
3.提出了将PSO与基函数展开操作结合的PNN学习算法PSO-LM1
PSO-LM1在对权函数和输入函数的基函数展开操作结束后,将模型中存在的结构参数和其他参数都作为PSO中粒子的各个分量。使用PSO在搜索空间各维指定的范围内对各个参数进行整体优化,同时解决PNN结构确定和学习早熟等问题。
4.提出了将PSO和高斯混合模型相结合的PNN学习算法PSO-LM2
PSO-LM2利用高斯混合模型(GMM)的表示能力,将过程神经元的连接权函数指定为广义的GMM。模型中的结构参数,系数以及其他参数均作为PSO中粒子的分量,使用PSO算法进行整体优化。PSO-LM2避免了BFE操作可能带来的输入函数的信息量损失问题和正交基函数选取等问题,并且可以用于训练PNN进行复杂的高维映射逼近。
5.实际应用研究
本文将PSO-LM1和PSO-LM2应用在短期交通流预测,垃圾邮件判定和地壳形变预测三个实际问题中,进行了全面的实验研究。其中比较了PNN新算法与已有经典算法的性能,考察了改进PSO模型对新算法性能的影响。结果表明本文提出的新算法可以更好的发挥PNN的逼近能力和泛化能力,并体现了其在复杂的逼近问题中的潜力。