论文部分内容阅读
以提升流数据的分类效率为目标，研究如何在流数据处理平台Storm上实现快速决策树算法-VFDT。设计了VFDT基于Storm的分布式并行化实现方案，将VFDT算法分为建树、分类和评价共三个模块，建树模块负责决策树的初始化和增量建树，分类模块负责对待分类样本进行分类标记，评价模块负责用已标记的样本对VFDT决策树进行评价。通过正确设计Storm拓扑中的Spout／Bolt实现各模块的办能，通过为分类Bolt设定多个Task来实现分类模块的并行化；用内存数据库Redis实现三个模块的有效衔接和决策树的保存；用