论文部分内容阅读
孤立点检测作为一种重要的数据挖掘方法,旨在发现数据集中偏离多数模式的异常情况,在制造业、金融业、网络安全甚至医疗领域都有着广泛的应用,一直备受人们关注。近年来,针对不同的应用领域,研究者已经提出了许多行之有效的孤立点检测算法。然而,大数据时代的到来,使传统孤立点检测算法面临着效率瓶颈,不适用于大规模数据孤立点检测任务。MapReduce编程框架的提出,为高效地进行大规模数据处理带来了希望；Hadoop开源计算平台的发布,让每一个研究者都可以便捷地使用分布式计算这把利剑。本文旨在运用Hadoop分布式计算平台,克服传统孤立点检测算法在大规模数据处理时所面临的效率瓶颈,针对混合型数据的全局和局部孤立点检测问题,分别给出了新的算法,并且基于Hadoop平台进行了并行化实现。本文研究内容如下：(1)针对全局孤立点检测问题。本文依据邻域计数的思想给出混合型数据对象间相异性度量方法,并基于最近邻定义了对象的全局孤立度,进而提出了一个混合型数据的全局孤立点检测算法；并且基于Hadoop平台对该算法进行了并行化实现以进一步提高算法执行效率。最后,在UCI数据集上通过与已有算法比较实验结果表明,所提算法能有效地检测出混合型数据中的全局孤立点,具有参数少、检测精度高的优点；算法的并行化提高了混合型大规模数据的孤立点检测效率(2)针对局部孤立点检测问题。本文采用密度的思想定义了对象的局部孤立度,并运用聚类方法对非孤立对象进行预先剪枝,约减数据规模,提出了一个基于密度和聚类的三阶段局部孤立点检测算法；进一步基于Hadoop平台对该算法进行了并行化实现。最后,在人工数据集和UCI数据集上验证了该算法的有效性；同时,在大规模数据集上的实验结果表明该并行化算法具有良好的加速比和扩展性。(3)设计与实现了基于Hadoop的孤立点检测平台。首先,运用Hadoop平台构建了分布式计算环境,使其具备强大的计算能力。其次,采用B/S架构技术,整合本文提出的两个并行化孤立点检测算法,设计与实现了该孤立点检测平台。它提供了友好的图形界面和个性化的孤立点检测服务,用户可以便捷地通过WEB访问方式使用本平台所提供大规模数据管理、检测算法管理、检测任务管理等服务,完成个性化的孤立点检测任务。