论文部分内容阅读
从20世纪80年代神经网络的研究再次复苏并形成热点以来,发展非常迅速。理论研究包括计算能力、对任意连续映射的逼近能力、学习理论等取得了丰硕的成果,其应用已迅速扩展到经济与企业管理、金融工程、模式识别、医疗诊断及众多数据挖掘领域。其中较为常用的是径向基函数神经网络(Radial Basis Function Neural Network,RBFNN),具有结构简单、泛化能力强和收敛速度快等特点。本文结合数据挖掘和机器学习中的分类任务,针对RBFNN学习亟需解决的关键问题,应用协同进化算法进行了深入系统地研究。主要研究内容包括:(1)介绍了神经网络学习的统计性能和RBFNN基本原理,评述了相关研究进展和典型RBFNN中心确定算法。概括了协同进化算法理论基础、整体框架以及发展现状。(2)提出了基于合作型协同进化的RBFNN算法。在标准网络结构中加入一个聚类层,对初始隐节点聚类,把性质相似的隐节点聚集成隐节点群,以聚类后的隐节点群作为子种群进行协同进化操作。各子种群间相互作用、相互影响。实验结果表明,该算法能够在一定程度上克服用传统优化算法进行网络训练耗时长的不足,且构建的RBFNN具有较小的网络规模,较强的泛化能力。(3)提出了基于协同覆盖的EBFNN算法。该算法把隐层剥离出来,直接由覆盖的情况确定分类结果,从而较好地增强EBFNN可理解性,同时省去标准网络中隐层到输出层权值的求取,简化了网络结构;通过协同进化算法与启发式算法的局部搜索的有效结合,采用启发式搜索自动增减隐节点个数,进一步改进网络结构。实验结果表明,该算法在初始隐节点在样本中随机选择的前提下,能够充分利用EBFNN覆盖域特点,达到较好的样本覆盖效果以及分类结果。(4)提出了带有特征选择的双种群RBFNN分类算法。将输入向量的特征选择和RBFNN优化过程协同进行,一并获得较优的网络结构和约减的输入向量维数,有效降低特征空间的维数,利用较小的网络结构获得较高的分类精度。实验结果表明,该算法对于大规模高维数据可以选择出切实有效的特征属性,避免复杂网络结构的生成,且算法快速有效,具有较强的复杂样本分类能力。(5)提出了多种群协同进化神经网络集成算法。将神经网络集成和协同进化算法相结合,每个个体神经网络对应于协同进化中的一个子种群,可保证每个个体网络自身进化和个体网络之间相互影响相结合;然后根据RBFNN特点,借鉴多数投票方法和最大值决定方法,对结论生成方式进行改进。实验结果表明,该算法优于目前常用的一些神经网络集成算法。