决策树学习是应用最广泛的归纳推理算法之一。目前存在的决策树归纳算法大多数是基于自顶向下的贪婪算法,它在每个结点都执行一个局部最优决策。然而,在大多数情况下,贪婪算法构造的树不是全局最优的。对于贪婪算法的改进,前向搜索是一种众所周知的技术。大多数人认为,前向决策树算法产生的决策树优于贪婪算法,并且搜索深度越深其效果越好。然而,在实际中前向决策树算法得到的结果并非如此,许多文献通过实验指出在决策树归纳过程中前向搜索往往会伤害决策树的质量。本文以ID3算法为基础,研究了前向决策树算法,并与贪婪算法的建树过程进行了对比。通过实例将前向决策树算法与经典的ID3算法进行了比较,结果表明针对某些特定的问题前者在保证分类精度不降低的同时也简化了决策树。本文还重点分析了前向决策树算法存在的缺点,正是由于算法本身存在的这些缺陷使得产生的决策树没有质量上的提高。为了改进前向决策树算法,本文提出了一种基于属性约简的建树方法——受限制的前向决策树算法。改进后的算法限制了前向决策树算法的搜索空间,首先使用属性约简方法选择出一个属性子集,然后在预先选定的属性子集中使用前向搜索方法寻找最优分裂属性进行决策树的建造。通过在部分UCI数据集上做实验,可以看出本文提出的方法能减小决策树的规模,提高预测精度。