基于软间隔的AdaBoost弱分类器权重调整算法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:ZuoLuo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Freund和Schapire1995年提出的AdaBoost算法是Boosting家族最具有代表性的算法,其基本思想是利用一系列的弱分类器通过加权线性组合来构成一个强分类器。AdaBoost作为一种集成学习方法,以PAC(ProbablyApproximatelyCorrect)学习理论为依据,在很多应用领域中都表现出了其优良特性。本文主要研究如何通过调整弱分类器的权重来提高AdaBoost算法的泛化性能,文章主要做了以下的工作:一方面,本文在简单介绍AdaBoost算法模型及其思想的基础上,分析了AdaBoost算法的泛化误差、训练误差及其收敛性,以及泛化误差与间隔之间的关系。并针对长期以来对于泛化误差与间隔分布以及最小间隔的关系的争论,介绍了两种基于间隔的AdaBoost弱分类器权重调整算法:基于最大化最小间隔的Arc-GV算法和基于优化间隔分布的AdaBoost-QP算法,通过实验比较AdaBoost、Arc-GV、AdaBoost-QP的泛化误差、最小间隔以及间隔分布,表明了间隔分布对于提高泛化性能的重要性。另一方面,注意到AdaBoost算法在有噪声的数据集上会出现明显的过学习现象,如AdaBoost-QP算法利用了优化样本间隔分布的方法来调整弱分类器的权重,但实验表明其依然会出现因为过于强调难分类的样本点而导致泛化性能下降的局限性问题。本文通过分析硬间隔和过学习现象的关系,为了克服AdaBoost算法对于噪声的敏感性,提出了给样本间隔加入松弛项的“软间隔”概念来弱化硬间隔对于有噪声数据分类的影响,并利用优化“软间隔”分布的方法改进了AdaBoost-QP算法,提出了两种算法-AdaBoost-QPKL、AdaBoost-QPnorm。实验结果表明调整后的两种新算法的泛化性能均得到了有效的提高。
其他文献
本文主要利用基依赖Lyapunov函数方法,探究了两类T-S模型非线性系统的控制问题。其中,两类系统分别是2-DT-S模型非线性系统和区间二型T-S模型非线性系统。首先,选取基依赖Lyapun
随着科技的快速发展,在现代科技领域,使用矩阵理论和方法来处理数学问题时,以其表达简洁和刻画深刻的优点得到了数学界的广泛关注.对角占优矩阵是数学科学及工程应用领域中的
事物发展过程的瞬时突变通常称之为脉冲现象.脉冲现象在现代科技的各领域的实际问题中是普遍存在的,其数学模型往往可归结为脉冲微分系统.近几年来,脉冲微分系统已经获得了广泛的
求解非线性矩阵方程一直是控制理论研究的重要领域之一,它在数值代数,统计学,动态规划,随机渗入,梯形网络,排队理论等其他领域也有重要的应用,在许多最优控制问题中需要求解
20世纪20至30年代,Lotka, Volterra, Kolmogorov等人创造了数学生物学历史上的第一次辉煌。20世纪70年代,许多实际问题的涌现与现代微分方程理论的建立大大地促进了数学生物学,
Markov链是一种有着应用广泛的预测模型,它对一个量从一种状态转移到另一种状态的预测提出了预测的方法及理论。现在的研究更多的是将 Markov链与其他的预测方法相结合,这样可