集成树算法是近年来机器学习领域热门的算法,尤其是XGBoost算法。2014年,陈天奇发布了XGBoost的第一个公开版本。2015年,XGBoost算法在各项算法大赛上取得了优异的成绩。在Kaggle数据挑战赛中,29个冠军案例中有17个采用了XGBoost算法,其中有8个解决方案仅仅使用了XGBoost算法就取得了成功。相比于单个的决策树算法,集成树算法能够得到较高的预测能力,并克服单个决策树难以解决的问题。集成树算法是决策树算法与集成算法的集合。以决策树作为基学习器,使用不同的集成方法可以构建出不同的集成树算法。集成算法主要分为两大族算法,分别是Boosting与Bagging。本文主要对以Boosting为基础的集成树算法进行讨论。首先,对集成树算法的基本理论,包括决策树的基本概念,以及集成的概念、集成的基本方法等。其次,介绍了三种集成算法,分别是AdaBoost、GBDT与XGBoost算法。其中AdaBoost算法是以样本权重的重建为基础,而GBDT与XGBoost算法均是以梯度提升为算法核心,后者是在前者基础上经过多方面的改善发展而来的。同时,对Boosting算法中的正则化手段给予阐述与试验。最后,将算法应用在岩性识别数据集上,对算法的精确性、计算速度以及抗噪性进行了对比,XGBoost方法在多方面出于领先地位。然后将XGBoost算法应用于图像分类,提出了CNN-XGBoost算法模型,其能够有效提高图像分类的精确度。