随着计算机技术与互联网信息技术的高速发展,全球进入大数据时代,人们从数据的消费者变成了数据的产生者。数据规模急速膨胀,企业以及用户如何从海量数据中获得有价值的信息成为他们面对的首要问题。人们对数据蕴含的知识的探索推动了数据挖掘领域的发展。离群点检测作为数据挖掘的一支,备受人们的青睐,随着数据量的增加,离群点同样蕴含重要的有价值的信息。离群点检测的应用领域广泛,例如网络入侵检测,医学疾病监控,环境检测等领域。此外,利用云计算和分布式原理处理大规模数据的技术发展迅猛,以开源的Hadoop平台为代表,使得海量数据的数据存储和数据处理变得更加有效和方便。本文通过对当前局部离群点检测算法的研究与分析,利用基于密度聚类的理论知识对数据集预处理,过滤聚类簇点,降低数据规模,对检测算法的离群因子值的计算做出改进,同时结合分布式平台,提出一种改进的基于密度聚类的分布式局部离群点检测算法。本文首先对局部离群点检测算法进行研究,主要介绍了基于密度的局部离群点检测算法LOF、COF、INFLOF三种,对这三种算法的原理与具体实现过程进行研究;其次,对聚类算法中的基于密度的算法进行研究,详细介绍了两种不同的密度聚类模型的特征和计算方法;然后,对Hadoop生态系统的各组件进行探讨,深入研究分布式文件系统的存储和数据读写原理,数据库的设计原理,MapReduce的执行架构与编程模型,实现并行化计算的原理以及其他组件协调工作机制。根据上述理论的研究,本课题提出一种局部离群点检测改进的算法,结合信息熵属性加权理论以及分布式理论解决当前离群点检测算法面临的数据规模大,数据成分复杂造成的计算瓶颈,以及数据节点可扩展性等问题。本文最后为集群搭建Hadoop分布式系统和HBase数据库环境,并在集群上实现所提算法。实验表明,基于密度聚类的分布式离群点检测算法可以有效地实现大规模数据的检测,与并行化的COF算法、LOF算法相比时间复杂度低,准确率相对较高。通过增加集群的数据节点数可以解决数据可扩展性的问题。