随着计算机技术和网络通信技术的迅猛发展与计算机的广泛应用，网络环境中暴露的安全问题亦日趋严重。传统的安全保护手段如防火墙系统、数据加密等方法已经不能很好地满足现今网络的安全需求。异常检测是一种入侵检测手段，相对于传统的安全技术，它是一种主动防御的技术，在网络系统被攻击之前，它能够根据检测到的入侵数据提前做出响应。异常检测技术的关键在于可以根据用户行为变化而动态调整策略，以达到减少误报概率，预警未知入侵的目的。然而，现今网络环境中各种各样的入侵手段与日俱增，并且伴随着网络数据的海量增长给入侵检测系统带来了巨大的压力。数据挖掘概念的出现给入侵检测提供了很好的技术手段。但是以往基于数据挖掘的入侵检测方法需要对训练集中的数据进行标记，并且要求数据样本的“纯净”。而聚类分析技术是一种无监督的学习方法，能够在未被标记的数据集上建立模型并发现异常数据，克服了传统数据挖掘方法局限性。基于以上研究背景，本文依托国家863课题“高可信网络业务管控系统”，展开了基于聚类技术的异常检测技术研究。针对现有的网络异常检测系统存在高误报率以及无法满足对实时性要求的缺陷，改进了基于聚类的网络异常检测模型，提出了分层加权近邻传播聚类(Hi-WAP)的核心检测算法。并将特征选择方法引入网络异常检测系统，提出了一种基于核自适应的近邻传播聚类(KA-APC)的特征选择算法。设计了基于特征选择和聚类的网络异常检测系统实现方案。具体工作内容如下：1)改进了传统的基于聚类的网络异常检测模型，提出了一种分层加权近邻传播聚类(Hi-WAP)的核心检测算法。针对基于聚类的网络异常检测模型训练阶段，算法在面对大规模数据攻击时，无法保证较高的精确度和速度等问题，改进后的模型在数据预处理阶段对属性进行了选择，使预处理后的数据更适合直接聚类。Hi-WAP核心检测算法对网络入侵数据先进行近邻传播聚类(AP)，再进行分层加权，最后输出聚类中心。采用KDD CUP99数据集对改进后的模型和算法进行实验，结果表明，与传统的K-means算法相比，在平均检测率上提高了9.2%，平均误报率降上降低了1.57%，检测时间上提高了10.11s，具有较好的检测效果。2)提出了一种基于核自适应的近邻传播聚类(KA-APC)特征选择算法。针对网络入侵数据维数高、存在大量冗余，且关于特征的先验知识不足等问题，以降低数据复杂度、提高分类精度为目的，KA-APC特征选择算法首先采用流形搜索方法，描绘出入侵数据轮廓；再利用核映射方法，将流形搜索后的数据投影到高维空间，计算该空间的相似度矩阵；最后，使用AP算法原理进行聚类，输出特征子集。实验结果表明，该算法有效地对网络入侵数据进行了降维，并提高了特征选择的分类精确度，与传统的K-means算法相比，属性选择上平均降低了4.2个，在分类正确率上提高了11.9%。3)设计了一种基于特征选择和聚类的网络异常检测系统实现方案。针对高可信网络业务管控系统的研发需求，对检测率、误报率进行了测试，以检测系统的性能。测试结果表明，本文设计的网络异常检测系统可以在百兆网络环境下对入侵攻击进行有效检测，最高检测率可达92.1%，在提高检测率的同时保证了较低的误报率，与传统基于聚类的网络异常检测系统相比有了较大提高。