基于进化算法的神经网络训练研究

来源 :浙江工业大学 | 被引量 : 0次 | 上传用户:vvv_vvv
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络已经是机器学习领域内最重要的方法之一,其具有分布式存储信息,并行协同处理信息和自组织学习处理信息等特点。论文以神经网络为对象,采用进化算法对神经网络的训练进行深入的研究,提出了基于进化算法的神经网络框架优化算法及神经网络集成训练算法,并对所提算法的原理、参数以及性能进行了深入的探讨。论文的主要工作有以下几方面。  首先,对神经网络框架优化方法进行了深入研究,提出了一种基于自适应的多局部搜索操作的混合算法。所提算法引入了一种自适应的多局部搜索操作机制,可同时对网络框架中的隐节点数量和权值大小进行微调。该多局部搜索操作机制提出了三种局部搜索操作,隐节点分裂,隐节点合并和一次BP算法迭代,并使用一种自适应的选择策略在三个局部搜索操作中选择有效的局部搜索操作对网络框架进行微调,该自适应策略是基于各局部搜索操作的搜索特征。同时,所提算法提出了一种新的突变策略,即个体的突变概率是根据其适应度值在种群中的排序所设定。该突变策略有助于平衡算法的全局搜索能力和局部搜索能力,从而减轻了进化过程中过早收敛的问题。所提算法在大量的分类数据集上进行测试,并与一些相关的方法进行比较,实验结果显示所提算法能设计一个泛化能力强的神经网络。  更进一步,对神经网络集成的训练方法进行了深入的研究,提出了一种基于小生境技术和自适应负相关学习的神经网络集成算法。负相关学习采用了同时训练方式对多个神经网络进行训练,并在每个网络的误差函数中加入一个相关惩罚项。然而,相关惩罚项参数λ的设定对神经网络集成的训练有着重要的影响。所提算法引入了一种自适应的负相关学习方法,在训练过程中自适应地调整惩罚项参数λ的值。这种自适应策略是基于一种新的差异度测量方式,该测量方式是基于个体在相同数据样本上的输出距离。同时,该新差异度测量方式考虑了网络种群的基因的多样性,并在每个网络计算差异度时增加一个适应度权值,进一步保证差异度测量的可靠性。此外,一种改进的动态小生境技术被引入所提算法中,用于维持进化过程中网络种群的多样性,保证集成中网络个体间的差异度。所提算法在大量的分类数据集上进行测试,并与一些相关的方法进行比较,实验结果显示所提算法能训练得到一个有效的神经网络集成。  最后,论文还对所研究领域的内容进行了进一步的探讨,提出了一些未来的研究方向,包括多局部搜索操作的选择策略的改进,有效的集成差异度测量方式的提出以及提高神经网络集成的训练效率。
其他文献
无线传感器网络中的节点以自组织多跳的方式运作,作为底层硬件,传感器节点在信号的感知、收集、传输过程中均存在能量消耗。由于传感器节点能量有限,必须采取高效的节能技术提高
无线传感器在国民经济、科学研究等领域已经应用地越来越广泛,同时它所面临的安全威胁也越来越大,但是目前针对无线传感器网络的安全防范研究相对较少。   本文将重点考虑无
Internet发展到至今已经完全渗入到人们生活工作的各个方面。作为半结构化语言XML已经成为一种最重要的数据载体,在Web服务、电子商务、数字图书馆等诸多网络等领域的数据描
图像社区是随着web2.0和多媒体技术的发展与普及而产生的一类社交平台,作为一种新兴的网络应用,每天都有成千上万的用户将他们的本地图像上传至网络并添加标签、相应的描述等与
虽然可扩展标记语言(eXtensible Markup Language, XML)诞生的时间并不长,但它作为数据描述和信息交换的标准,已经得到广泛应用。目前,Internet、企业和政府部门的管理系统、
随着计算机网络技术的发展,现代企业信息系统的分布性、自治性、异构性等特点日益明显,因此分布式工作流系统的出现和发展成为一种必然趋势。然而传统的分布式技术通常具有网
随着无线通信技术、微机电系统以及传感器等技术的逐渐成熟,无线传感器网络也逐渐受到国际学术领域的关注。经过近几年的研究和发展,无线传感器网络已经在军事反恐、城市管理
人脸识别是生物特征识别中的一项关键技术,在模式识别、图像处理和计算机视觉中已经成为一个十分重要的研究方向,研究识别率高的人脸识别算法具有重要的理论研究意义和商业应
随着企业业务的自动化需求,工作流技术成为近些年来研究的一个重点,但是现代社会的快速发展、Internet的普及和全球化的竞争环境,传统工作流的集中式信息处理方式已经不能满
边缘是图像的基本特征,图像的绝大部分信息都位于图像的边缘中。根据计算机视觉理论,图像的边缘检测在计算机图像领域研究中占据着重要地位。但由于边缘检测问题本身的复杂性