互联网的高速发展不仅为人们的生活带来了便利,也带来了新的挑战。(1)网络安全形势依然严峻,不仅传统的安全威胁没有减少,而且新的威胁不断出现,造成网络异常种类繁多,不利于检测和防御。(2)网络规模和网络流量变得越来越大,给网络流量存储和检测带来了严峻的考验。(3)基于特征匹配的专用商业检测仪器虽然可以对已知攻击进行在线高速检测,但不能兼顾对未知异常的检测能力且不具备流量存储能力。(4)网络流量异常检测技术虽然能兼顾对未知异常的检测能力,但又存在检测效率不高的问题。针对上述问题,不断改进网络流量异常检测技术,并将其与成熟的分布式计算平台相结合,是解决问题的有效途径。本文通过采集边缘网出口路由器或核心路由器的流级(Flow-Level)流量进行了网络流量异常检测技术的研究,主要研究内容和贡献如下:(1)提出了基于分布式计算的网络流量异常检测模型,具体包括了流量测度特征的分布式计算模型和基于流量测度特征的异常检测模型。(2)提出了双参数Tsallis熵和一种基于双参数Tsallis熵的流量异常检测方法。双参数Tsallis熵是对Tsallis熵应用于网络流量异常检测中的一种改进,以达到提高检测性能和兼顾运行效率的目的。实验证明:基于双参数Tsallis熵的检测与基于Tsallis熵的检测相比,大大提高了检测效率。(3)传统熵存在熵值随流量剧烈波动而波动、熵值对流量规模小的异常不敏感、混合异常同时存在会使熵值抵消等问题。为了解决上述问题,本文提出了可调节分段熵模式,并提出了一种基于可调节分段熵值变化率的检测算法。实验证明:可调节分段熵适应能力更强、检测效率更高,很好的克服了传统熵在异常检测中存在的问题,更加适合应用于流量异常检测。(4)提出了基于有效流特征实例对的网络流量异常检测和分类方法CEFF,实现了快速、细致、高效的异常检测和分类。实验证明CEFF方法在网络流量异常检测和分类中非常高效。(5)为了满足实验和实际检测的需要,设计并实现了基于分布式计算的网络流量异常检测系统,基于Hadoop、Spark、Spark Streaming等多个平台实现了离线检测、在线检测、离线分类、在线分类、数据查询等功能。