随着信息技术的高速发展,网络已经与人们的生产生活密不可分,网络流量数据呈现爆发式增长的态势,与此同时,网络安全问题也越发突出。随着大数据时代的到来,传统的网络流量异常检测技术面临着异常检测准确率不够高、响应速度不够快、系统存储和处理能力不足等重大挑战。结合分层聚类和滑动窗口的方法,本文提出了一种基于Canopy和加权K-means的网络流量异常检测算法,并研究了该算法在Hadoop平台下的并行化设计与实现,最终可以实现对海量网络流量数据的异常检测,同时具有响应速度快、识别准确率高等特点。本文主要工作是:1、基于Canopy和加权K-means的网络流量异常检测方法研究。结合Canopy算法和加权K-means算法,提出了一种分层聚类模型下基于滑动窗口的高维网络数据流异常检测算法CHSWStream(Canopy High Sliding Window Stream)。该算法于在线层对高维数据PCA降维后,利用Canopy算法实现初始聚类,采用指数直方图技术提取概要信息,通过滑动窗口更新过期数据,离线层采用加权Kmeans聚类算法,最终实现检测速率与检测准确度的统一。2、Hadoop下基于分层聚类的并行化网络流量异常检测方法研究。针对上一部分提出的CHSWStream算法,研究了该算法在Hadoop平台下的MapReduce并行化设计与实现。通过实验验证,该算法在Hadoop平台下的运行效率得到了较大的提高。