论文部分内容阅读
集成学习是一种机器学习范式,它通过使用多个学习器来解决同一问题可以有效地提高学习系统的泛化能力,因此它是国际机器学习界的一个研究热点。目前,集成学习技术已经在行星探测、地震波分析、文本分类、生物特征识别、遥感信息处理、计算机辅助医疗诊断等众多领域得到了应用。但是集成学习技术还不够成熟,集成学习的理论研究中还存在着大量未能解决的问题,集成学习的实际应用研究也有待进一步的拓展和深入。一般认为,有效地产生泛化能力强、差异大的个体学习器,是集成学习算法的关键。但对于如何有效地度量差异、以及更进一步如何有效地获取和利用这种差异,仍然是一个未能完全解决的问题。选择性集成方法从集成学习算法产生的个体学习器中选择一部分来集成,研究结果表明该方法可能比使用所有个体学习器来组成集成效果更好。因此选择性集成已成为集成学习的一个重要研究方向,其更好的选择策略以及算法运算速度的提高有待更多研究人员的深入研究。本文以集成学习为研究对象,介绍了集成学习的概念、理论基础、构成及两种经.典的集成学习算法(Boosting和Bagging).接着将集成学习应用到了人脸识别领域中,并与人脸识别中常用的几种学习器进行了对比实验。然后对选择性集成学习方法做了深入的研究,首先介绍了选择性集成的基本思想、理论基础,其次介绍了基于遗传算法的选择性集成算法(GASEN)和选择性集成的发展,最后在基于分类器成对差异性度量方法的基础上提出了一种新的选择性集成算法(PDMSEN)及其改进算法(PDMSEN-b)。本文的创新研究工作如下:(1)将集成学习(Boosting RBF神经网络)应用到人脸识别中,并与人脸识别中常用的几种学习器进行了对比实验。实验结果表明集成学习和SVM构建的学习器在本次实验中取得了较好的性能,更适合用于人脸识别中特征分类器,为以后在人脸识别中选择一个合适的分类器提供了参考。(2)为了提高学习器的差异性和精度,本文提出了一种基于成对差异性度量的选择性集成算法(PDMSEN).同时研究了一种改进算法(PDMSEN-b),进一步提高了算法的运算速度,且支持并行计算。最后通过使用BP神经网络作为基学习器,在UCI数据集上进行实验,并与Bagging、GASEN算法进行了比较。实验结果表明,改进算法(PDMSEN-b)在性能上与GASEN算法相近的前提下,训练速度得到了大幅的提高。