随着互联网的应用普及,越来越多的业务和事务都依赖网络来完成,与此同时针对各种网络应用的网络攻击也越来越频繁,如何检测识别各种各样的网络异常行为就成了不可回避的技术问题。网络攻击方法层出不穷,攻击手段也在不断的更新,使得传统的防火墙等被动的安全机制对许多攻击难以检测。入侵检测技术作为一种主动防御技术,弥补了传统安全技术的不足,一直被国内外的研究学者们所关注。随着网络规模的不断扩大,网络流量的不断增长和黑客技术的不断发展,对网络异常检测的性能提出了更高的要求。本文以提高异常检测技术的正确率,降低误警率和漏报率以及自动响应为技术目标,以机器学习理论为基础,在检测技术、动态行为轮廓创建表示和快速响应等方面进行了深入系统的研究,取得了一些创新性的成果,主要的研究工作和研究成果包括：1)把网络异常检测看作是一个机器学习和模式识别的问题,即通过学习网络流量特征和主机审计记录等观测数据来区分系统的正常行为和异常行为。支持向量机(SVM)的学习方法在小样本下能够取得较好效果的异常检测算法,但是样本冗余特征不仅会占用大量的存储空间,而且会影响SVM的性能,论文从分析SVM学习模型的计算复杂度入手,提出了采用粗糙集理论特征约简并统计排序重要特征,构造了加权特征核函数的支持向量机异常分析方法,实验表明,加权核函数方法有效地提高了支持向量机的检测效率,降低了误警率、漏报率,缩短了检测识别时间,为在线的异常检测系统构建提供了一种可能。2)异常检测算法的基本思想是根据学习得到的正常用户的行为模式去判断某个给定的用户行为是否在设定的范围之内,作为异常检测的依据,用户行为轮廓的准确程度直接关系到异常检测系统的检测性能。但是由于在建立正常用户行为轮廓时往往数据不是完备的,同时用户行为的时变性,所建立的用户行为轮廓不能反映最新的用户行为,因此使得异常检测算法的性能提高很有限,并且对不同用户的适应能力也不好,限制了现有方法的实际效用。针对这一问题论文提出了基于增量学习的一种动态自学习的时变行为轮廓异常分析方法,通过动态调整正常用户行为轮廓窗口,连续更新最近的用户行为轮廓。仿真实验数据证明,这种动态自学习的方法取得了良好的效果,适合于构建在线的异常检测系统。3)弱点(vulnerabilities)是网络安全中的一个重要因素,系统中潜在的弱点可能会在其生命期中被逐步发现,这些弱点在被公布出来后,往往被用作攻击其它具有类似配置的系统。论文提出了基于弱点分析的静态信任计算和基于网络流量分析的动态信任值计算相结合的方法来估算节点的行为信任值,根据不同的应用需要来调整信任值的计算周期。通过周期性的学习系统中的各节点的信任值,为响应决策提供支持。4)随着攻击的复杂化、自动化和大规模化,传统的人工响应方式已经远远不能满足响应的需要,这主要体现在反应迟钝,对攻击进行人工分析拖延了响应时机,使得攻击造成巨大的损失,不能适应大规模高速网络实时响应的要求,大量的安全事件使得单靠人工响应变得不可能。针对这一问题论文提出了基于信任的快速响应机制,协同异常检测系统,在攻击检测被确认之前使得信任值高的信息流得到较好的服务,限制信任值低的信息流造成的潜在损失,使攻击造成的损失达到最低,作为异常检测系统时效性的一个有效的补充。仿真实验表明,采用基于信任的快速响应机制,能够有效的延长系统击跨的时间,在保证重要信息流的服务质量前提下为系统管理员进一步的分析并采取相应措施赢得了时间。