论文部分内容阅读
全球随时随地都在产生着各种各样的数据,例如股票市场的交易数据、电子商务的订单数据、科学卫星的探测数据等等。这些数据都不是固定在某个地点,而是根据所属的应用种类通过计算机网络传输到其他多个地方的,这样就形成了数据流的形态。而这些数据流往往具有典型的分布式特征,在网络中穿梭往来,并传输到不同的地方,进而就形成了分布式数据流的形态。与单数据流挖掘相比,分布式数据流需要分布式的挖掘构架,具有对分布式数据流挖掘的能力。 在当前数据挖掘领域,大规模数据集日趋普遍,其中大多数是有大量的数据记录和很高的维度。大规模数据集有着很大的内在复杂性,这导致在使用特定的数据挖掘方法(如分类)对一个给定的数据集进行挖掘处理时,经常不是在整个数据集上进行挖掘处理,而是把抽样技术引入到数据挖掘的过程中。先抽取出样本数据,然后在样本数据集上进行数据挖掘处理,最后根据挖掘处理结果来推测出原总体数据集的概念情况。本文针对基于密度偏差抽样方法的分布式数据流集成分类学习方法进行了如下研究。 首先,在数据流的环境下验证了应用偏差抽样方法对精简数据集后的样本数据集各项指标的影响。在同构的分布式数据流的环境下,基于密度偏差抽样方法,使用了一个分布式数据流的框架,局部节点收集数据,并应用密度偏差抽样方法精简数据集后把样本数据集传输到中心节点去,中心节点收集综合各个局部节点传上来的样本数据后,学习出决策树分类器,并反馈到局部节点去评价分类器的各项指标,分析密度偏差抽样方法的各个参数值的取值对分类精度和效率的影响,最终希望能得到评价指标较好的参数值。 然后,在分布式数据流环境下,中心节点应用集成分类学习方法,维持一组分类器,运用多种策略来研究基于分类精度加权的集成分类器集合的全局模式维护更新。 最后,在各项实验的验证下,表明密度偏差抽样技术可以在分布式数据流分类研究中有很好的应用。