随着计算机网络通信技术的发展,用户群体不断变大,网络规模不断增长,出现了越来越多的网络服务业务种类,网络结构变得越来越复杂。在这种具有开放性的网络中,在利益的驱使下,网络安全事故与日俱增,要求提供较好的服务质量成为了一种必然的趋势,实时有效的网络异常检测方法成为了一种严峻而紧急的挑战。网络作为一个复杂的开放系统,网络流量的产生受到诸多驱动因素的影响,如网络设备、拓扑结构、传输协议及网络用户之间的合作与竞争等等,网络流量往往表现出非线性、非平稳以及貌似随机的混沌特性、自相似长相关特性和复杂的动力学突变特性,本论文中主要运用非线性动力学理论、突变理论以及协同学对网络流量异常进行了研究。由于网络流量往往受多个驱动因子即多特征量的控制,通过对描述网络流量特性的多个特征量(如混沌Lyapunov指数、动力学Q因子、Hurst自相似系数、高阶矩和低阶矩等)进行研究,提取其中起主导作用的特征量,综合运用这些特征量能更好的发现网络流量中存在的异常。根据网络流量行为表现出的非线性、非平稳和复杂的突变特性,提出了一种基于突变级数综合决策模型的网络流量的异常检测方法。运用混沌理论、自相似长相关、和统计物理学等方法,对网络流量系统的特征参量进行计算分析,从中提取能较好地反映网络流量动力学特性的特征参量,然后根据提取的特征参量建立突变模型,由突变分歧集方程可得到对应的“归一公式”,根据该突变级数方法就可以对网络流量异常进行检测。实验表明当网络流量异常的检测率相等时,该方法与目前已有的采用单特征参量的方法相比,其误检率更低。网络流量在运动变化过程中会从一个平衡态转变到另一个平衡态,该过程中存在一个暂态过程,这个暂态过程是一个突变的非平稳过程,根据这个特点,提出了一种基于突变平衡曲面进行异常检测的方法。通过采用突变平衡曲面构造正常网络流量行为的正常模式。当网络流量异常发生时,网络流量系统的状态会偏离平衡曲面。将此平衡曲面作为参照,监控到来的网络流量并采用突变距离来判断是否偏离平衡曲而。根据决策理论,采用突变距离衡量待测流量与正常平衡曲面的的偏离来评估网络流量是否有异常发生。通过实验分析表明,该方法对于检测网络流量异常具有较大的优点,提升了检测率,降低了误检率考虑到网络受多个驱动因素的影响,而在异常发生时往往只有少数因素起决定性作用,提出了一种基于协同学的网络流量异常检测方法。该方法中使用协同学非线性动力学方程描述网络流量系统的复杂动力学行为,采用协同学序参量来体现网络流量在异常发生时起决定性作用的主导因素。序参量是网络流量的主要相变因素,通过应用协同学神经网络对网络流量的序参量进行演化,当网络流量的序参量收敛时,即可检测到网络流量异常发生。对比实验表明该方法具有较好的检测性能。