泛化能力是指训练好的算法对新样本的适应能力,如何有效提高算法的泛化性能是目前机器学习界研究的重大挑战之一,在前人的研究基础上支持向量机和集成学习已成为研究提高算法泛化性能的两种重要研究途径。集成学习是通过为某一问题训练出多个基学习器并将各基学习器的输出进行集成,它可以显著地提高学习系统的泛化能力。研究表明集成学习在基分类器的选择上存在研究困境,本文在集成学习的基础上通过多层次选择性集成策略、基于PCA的多任务学习很好的解决了这一问题,进一步提高基学习器的独立性和准确率,使得算法获得更好的泛化性能和准确率。本文的主要工作和创新点如下:①分析了选择性集成学习中基分类器的选择性问题,并提出通过多层次选择方案来解决这一难题,指明了解决这一问题的新思路,详细叙述了多层次选择性集成的思想。②给出了多层次选择性集成的数学基础,并分别从统计学的重采样方法的角度和几何角度对多层次选择性集成的有效性进行了解释。③研究了PCA相关理论,将PCA应用于多任务学习的辅助任务选择上,形成了基于PCA的多任务学习,进一步给出了基于PCA的多任务学习在集成学习中提高学习器泛化性能中的贡献和有效性。④在多层次选择性集成学习和基于PCA的多任务学习的基础上构造了基于多任务学习的多层次选择性集成算法MR-BMLSEN。在决策树算法的基础上基于WEKA平台使用UCI数据集给出了实验结果,并与传统机器学习算法J48、Adaboost、Bagging作了比较分析,最后给出了MR-BMLSEN算法的置信度分析和有效性说明。