在现如今这个科技发达、信息飞速流通的社会,网络的安全越来越受人们的关注和重视。Netflow作为思科公司提出的一种数据交互方式,在监测网络中发挥着重要的作用。国内外也针对Netflow异常检测做了很多研究。但随着网络的发展,传统的基于“流”的异常检测技术存在训练样本要求大,特征提取复杂,面对未知异常检测率低的问题;而且在面对海量Netflow流数据时,目前的研究也未发现也很好的应对之策。基于以上的问题,本文的研究将隐马尔可夫模型和大数据相结合,提出了基于HMM的Netflow异常流量检测方法。本文的研究主要包括数据采集和处理,建立模型和异常检测三个模块。首先数据采集和处理模块中,利用重新设计的分布式日志采集系统Flume,将Netflow流采集到分布式文件系统。其次在建立HMM模型中,利用协议的高度规范化,实现针对Netflow数据按照ICMP,TCP和UDP三种协议进行分类。然后根据每种协议的样本流数据进行降维、量化等预处理,建立每种协议正常流的HMM模型。最后异常检测模块,根据每种协议建立的模型,针对待检测序列,分布式实现前向算法计算出观测概率。将计算得到的概率与特定的阈值进行比较,实现异常Netflow流量的检测。通过本文的研究,利用隐马尔可夫模型作为异常检测的基本算法模型,不仅需要的样本量大大减少;且不再需要针对每种攻击类型单独建模,而是根据协议分类建模,降低了复杂度,对未知的异常也有一定的检查效果。本文的方法利用分布式存储和分布式计算框架,帮助我们提供了一种解决海量数据下的异常流数据检测的办法。