随着信息技术的发展,人们越来越认识到网络与数据安全的重要性,任何的网络入侵和攻击都有可能造成严重的灾难,因此发展入侵检测系统来降低攻击的影响是当前趋势。传统的特征检测虽然检测率高,但是不能检测未知的攻击,异常检测能够检测出未知的攻击,但检测率相对较低,而且大部分是基于标记的数据集来训练,但是往往不能保证标记数据集的准确性。本文针对新型攻击和安全挑战的升高、异常检测方法准确性较低的问题,结合了数据挖掘对于大数据处理的优势,(1)提出了对粒子群优化算法和K-means聚类算法结合并优化的网络流量异常检测方法,利用的是未标记的数据集来训练。通过对流量的特征数据的预处理,然后对各个攻击大类的特征提取,分组进行粒子群优化计算,有效的使用粒子群优化算法具有的优点,寻找出最佳或者近似最佳的聚类初始点,从而提高聚类的准确率,最后再利用K-means算法。实验中运用KDD CUP 99数据集,通过实验验证了提出的优化方案的有效性。(2)利用基于距离和密度的方法分析不易判断的异常点,利用两个分析方法得出的集合结合模糊集理论,将异常检测的结果分成正常、低危、高危和异常,在正常和异常之间加入过渡值,并在实验中验证了所提方案的有效性。(3)设计与实现了该异常检测系统,系统分预处理和检测两个阶段,在流量预处理阶段还增加了流量控制模块来应对检测系统的攻击,测试表明该系统能够检测出异常流量,系统的流量控制也能一定程度的拦截对检测系统本身的攻击。