分类问题是机器学习领域的重要研究内容,分类是指对已知类别的数据集进行高度抽象,提取规则,构建预测模型,从而使用该模型对未知类别的样本数据进行归类。决策树是各种分类算法中最常见的算法,它相对于其他算法模式简单、分类速度快、准确率高,且生成的规则可以用语意表示,具有更强的可解释性。然而实际数据集中常常伴随着噪声或者孤立点,这会使决策树出现只包含极少量样本的叶子节点,产生不必要的分支,进而使决策树规模变大。针对这一问题,本文提出了基于密度的决策树构建思想,即在决策树的构建过程中将划分区域内的样本密度作为一个衡量标准,使生成的决策树中不存在或者仅少量存在上述不必要分支,精简了决策树规模,同时在一定程度上避免了过拟合现象,提高了预测精度。同时,本文将基于密度的构建思想推广到了以RandomForest、Bagging和AdaBoost为代表的集成算法中,这三种算法虽然相较于单个决策树已经可以表现出较强的分类能力,但是同样面临基分类器在训练结果中存在不必要分支的问题,而基于密度的集成学习算法则表现出了更强的分类能力,可以明显缩小建树规模,提高分类准确性。本文在多组UCI数据集上进行了多次实验,将本文方法与传统方法在树的平均节点个数和分类准确性上进行了对比。实验表明,本文方法可以普遍减小决策树节点个数,同时降低过拟合程度,提高预测准确性,使得由本文方法构建的分类器具有更佳的分类性能,而且结构简单,语义明了,泛化能力强。