论文部分内容阅读
针对经典C4.5决策树算法存在过度拟合和伸缩性差的问题，提出了一种基于Bagging的决策树改进算法，并基于MapReduce模型对改进算法进行了并行化。首先，基于Bagging技术对C4.5算法进行了改进，通过有放回采样得到多个与初始训练集大小相等的新训练集，并在每个训练集上进行训练，得到多个分类器，再根据多数投票规则集成训练结果得到最终的分类器；然后，基于MapReduce模型对改进算法进行了并行化，能够并行化处理训练集、并行选择最佳分割属性和最佳分割点，以及并行生成子节点，实现了基于MapReduc