近年来,随着网民数量的快速增长,各种网络服务的层出不穷,网络流量随之不断增大,网络行为也变得越来越复杂。恶意流量、恶意行为也随之到来,如DoS(拒绝服务攻击,Denial of Service)、蠕虫病毒等,已经成为大规模高速网络的普遍威胁,严重干扰了Internet的正常运行,造成了巨额的经济损失。本文在总结了目前网络攻击的基本原理、步骤和常用手段的基础上,详细探讨了蠕虫和拒绝服务攻击这两种大规模攻击类型的特性,提出了基于IP流的网络攻击检测模型,研究了数据挖掘中频繁模式挖掘算法的改进算法,并将改进的算法运用到了蠕虫和拒绝服务攻击检测及攻击特性发现工作中。首先,在讨论了频繁模式挖掘经典算法的基础上,针对FP-Growth算法的不足,研究了基于候选组合频繁模式的频繁模式挖掘算法,通过构造候选频繁模式,在FP树路径中进行匹配来挖掘频繁模式。改进算法无需生成条件模式树,并利用了并查集这种数据结构适合用作元素快速查询和插入的特性,同时根据先验原理进行候选模式的剪枝,实验表明,该算法优于FP-Growth算法。然后,研究了基于FP-Tree的最大频繁模式挖掘算法,同样将FP树路径映射到并查集数据结构中,将自顶向下的剪枝策略和自底向上的匹配挖掘策略相结合,实验数据表明,该算法能较快地挖掘最大频繁模式。接着,提出了基于NetFlow流数据的蠕虫和拒绝服务攻击检测系统模型,为了提高检测的实时性,首先采用了基于流长分布相关性分析的可疑数据段的发现方法,接着研究了基于四次哈希散列的网络流数据统计算法,统计了可疑数据段中每个用户的网络使用状况,进而发现可疑用户并对这些用户数据进行挖掘分析,从而大大减少了后续挖掘工作所要处理的数据量。在发现可疑主机和数据段的基础上,将改进的频繁模式挖掘算法分别运用到蠕虫和拒绝服务攻击检测和特性发现工作中,实验表明,该检测模型体系能达到较好的检测效果。最后,用Java实现了攻击检测的原型软件系统。运用本文提出的攻击检测模型和检测方法,改进了以往直接对网络报文或主机审计数据进行分析的时间性能缺陷;对流数据的维规约处理避免了产生很多无意义的频繁模式,同时也无需事先建立网络用户的正常行为模型,从而能达到快速检测蠕虫和拒绝服务攻击并挖掘其攻击特征的效果。