基于信息理论学习的神经网络集成

来源 :河北大学 | 被引量 : 0次 | 上传用户:guoyh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多层感知器和径向基函数神经网络是两种典型的前馈神经网络,它们具有较强的模式识别能力和灵活的非线性建模能力。然而,在实际应用中,两种网络仍存在一些不足之处,如网络的泛化能力和抗噪声能力较差。为了提高单个多层感知器和径向基函数神经网络的泛化性能及抗噪声能力,本文对基于信息理论学习的神经网络集成开展了研究。本文主要提出了两种神经网络集成策略,主要工作如下:1.提出了基于二次Renyi熵的神经网络集成。所提方法利用Renyi熵为集成中各成分网络选择最优的权重,使得集成后的网络具有更优的泛化性能。此外,针对所提方法中的优化问题,利用解析法(而非牛顿法)进行求解,有效地提高了计算效率。2.提出了基于改进负相关学习的径向基函数神经网络选择性集成。在所提方法中,利用相关熵代替传统负相关学习中的均方误差,并在目标函数中增加了基于L1范数的组合权重正则化项。此外,利用半二次优化技术和替代函数法对所提方法的优化问题进行求解。实验结果表明,所提两种基于信息理论学习的神经网络集成方法均取得了较好的泛化性能。
其他文献
本文包括四个部分,第一章引言介绍了排序问题的一些背景知识.第二章对工件的加工时间依赖其开工时间的情形,分别研究了单机成组最大完工时间问题和单机总完工时间问题.给出了问
本文研究了两种现代排序模型,相同的族安装时间的最小化最大延迟的单机成组分批排序问题,工件的加工时间和它们的尺寸成正比的最小化最大完工时间的单机排序和工件运输问题。
本文主要研究如下非线性脉冲控制系统(式1,公式略)在不同控制集合下关于两个测度的稳定性质和有界性质.  众所周知,在现实生活中,大量具有脉冲现象的实际控制问题的数学模型往
很多重要的工程实际问题如:计算流体力学、弹性力学、结构力学以及电磁场理论中,高性能数值方法的研究倍受重视。有限元方法能较好地反映物体的力学性质,颇受工程师推崇,因此我们
切换系统是一类重要的混杂系统,由一组连续或离散动态子系统组成,并按某种切换规则在各个子系统问切换的动力系统.切换系统具有这样的性质:即使每一个子系统都是不稳定,通过
随着新课改的深入开展,广大物理教师在改革与探索中所追求的目标就是激发和引导学生自主探究与思考,实现物理课堂教学最优化,提高物理课堂教学效率。为了构建物理高效课堂,物
本课题主要研究具有负顾客的两类排队系统,一类是具有负顾客的M/G/1可修排队系统,另一类是有灾难发生的排队系统。对M/G/1可修排队系统,运用补充变量法和状态转移及L变换分析,得
本论文主要考虑的是用非协调有限元方法解决平面弹性问题的Locking现象,构造了一个四边形单元,能够克服Locking现象,达到收敛的目的。对位移边界条件下的平面弹性问题来说,关键是
在本论文的第一章中首先介绍它处理光滑优化问题的基本求解策略以及理论结论。 在第二章中首先介绍非光滑优化产生的背景其与其他学科之间的紧密联系,主要的理论及两类重要
本论文主要研究关于弱Hopf代数的两方面内容:模代数在它不变量上的积分和余模代数在其余不变量上的积分,全文内容如下: 第一章,主要介绍了本文的研究背景和一些关于弱Hopf代数