基于覆盖的神经网络改进算法与集成学习方法研究

来源 :南京工业大学 | 被引量 : 0次 | 上传用户:netboy1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络是一种模拟生物神经系统的信息处理模型,在很多领域得到了成功的应用,并在很多问题上表现出极大的优势和潜力。分类是神经网络的主要用途之一,而分类能力是人类智能的主要表现,所以,本文主要讨论的是人工神经网络作为分类器的学习问题。对分类器学习问题的研究,构造性的学习方法是目前存在的主要方法之一,而覆盖算法则是一种最具代表性的构造性学习方法。覆盖算法以对M-P神经元模型几何意义的深入剖析为基础,具有十分直观的表示,在一定程度上解决了神经网络“不可理解性”。   在实际应用中,提高神经网络的泛化能力是人们一直追求的目标之一,这也是神经网络集成思想产生的主要驱动因素。神经网络集成通过训练多个神经网络并将其结果进行合成,能显著地提高神经网络系统的泛化能力。   本文关注于提高神经网络系统的泛化能力,以具有明确的几何意义的覆盖算法为研究基础,从单个神经网络和神经网络集成两个方面对提高神经网络的泛化能力做出了尝试。   在训练单个神经网络方面,基于M-P神经元模型的几何意义的指导,我们对基于多层前向网络模型的覆盖算法做出了改进。文中给出了获得更强泛化能力的方法,并进一步在控制网络规模和泛化能力的平衡方面给出有效的建议。另外分析了应用中影响泛化能力的因素,进而给出精细的分类方法。文中提供的模拟结果证明了所做出的改进在提高神经网络的鲁棒性方面是令人满意的。   在神经网络集成方面,文中给出了一种有别于传统集成通过控制样本差异来控制个体网络差异的方法,对同一样本集学习即可获得不同的个体网络。藉由该方法,我们也尝试了对Boosting的有效性进行解释。我们还借鉴选择性集成的思想,在神经元模型几何意义指导下,给出了对组成集成的个体网络进行剪裁的方法。模拟实验的结果也证明了这些方法的有效性。
其他文献
归学习是机器学习最主要的分支,其主要目的是从大量的数据中归纳出知识规则)用于预测新观察到事例的类别。决策树归纳是归纳学习的一种。由于NP困难,寻找最优的决策树是不现
网格是从电力网的概念借鉴过来的。网格的目的是要利用互联网把分散在不同地理位置的电脑组织成一台虚拟的超级计算机,实现计算资源、存储资源、数据资源、信息资源、软件资
随着多媒体技术和计算机网络的迅速发展,越来越多的数字信息产品通过网络广泛传播。在给人们带来便利的同时,由此而引发的非法拷贝和恶意篡改等侵权行为也引起了人们的关注。在
元搜索引擎是现代搜索引擎一个重要的发展方向,它为用户提供一个统一的查询接口,避免同一查询向多个搜索引擎的重复提交,并且能够提高信息的查全率。电子商务元搜索引擎将属
信息技术的飞速发展为现代物流带来了巨大的发展机遇,促进了现代物流大发展。与此同时,我国企业物流信息系统的总体水平却远远落后于世界发达国家,因此发展物流信息系统刻不容缓
基于ARM的汽车视频行驶记录仪系统,除了按照国家有关标准,对汽车的行驶状态的数据(速度、时间、以及各种控制的开关量)进行实时保存外,与同能产品相比,还更加注重视频方面特
视频检测技术在交通检测系统中有着很广阔的应用前景。在一个功能完善的交通参数和事件自动检测系统中,行车检测是最关键的环节。目前传统的方法在许多方面都还不尽人意,而基于
交换式多兆位数据服务(SMDS)是一种高速、无连接的分组交换服务,可接续大量的分布资源,在互联的LAN、工作站和计算机系统之间进行高速分组交换,并且具有吞吐量大和传输延迟小的
学位
基于IP核复用的系统芯片SoC是超深亚微米和纳米阶段的代表性产品,它不论在开发周期,还是在系统功能、性能方面,都体现出无可比拟的优点。然而随着集成的IP核数量的增加,芯片复杂