论文部分内容阅读
伴随着科学技术的飞速发展,尤其是计算机技术等日新月异,各种数据也在逐渐增多。这大大促进了数据库技术的发展。海量数据的涌现使人们不借助工具就无法处理。如何从海量数据中快速准确地提取有效信息,数据挖掘成为目前有效的技术。经过长时间的研究和实践,数据挖掘技术已经取得了较好的发展,目前已经运用于企业管理、商业决策、网络管理、医学研究等多个领域,并发挥着重要作用。
互联网自诞生以来一直在快速发展,突飞猛进。到目前为止,在网络管理、网络安全等多个方而也生成积累了大量的数据,如何快速、高效、准确地从这些数据中获取我们感兴趣的信息,也是一个非常棘手的问题。尤其是在大量的网络连接、数据传输的行为记录中及时准确地发现网络入侵行为,即网络入侵检测方法,是长期以来的一个重要研究方向。网络入侵检测方法可以分为基于误用检测的方法和基于异常检测的方法。目前商业入侵检测系统大多采用基于误用检测的策略,这种方法准确率高,但无法发现新类型的或者尚无对应特征码的攻击。而数据挖掘作为有效处理海量数据的首选方法,在入侵检测领域同样可以发挥作用。
本文将对利用数据挖掘技术解决网络安全问题,尤其是对网络异常检测技术进行了深层次分析与探讨,并有效地改进其中的数据挖掘算法。本文的主要贡献和创新点有以下几个方而:
1.对基于密度的聚类算法和孤立点检测算法进行了分析,提出了记忆效应的概念。利用记忆效应的思想对基于密度的聚类算法及孤立点检测算法进行了改进。实验效果显示,改进后的算法在保证计算结果与原算法完全相同的情况下,运行效率得到了显著提高。
2.提出了一种网络异常检测系统的框架。该网络异常检测系统CNADS(CstnetNetwork Anomaly Detection System)面向的是网络传输层数据记录,在发现网络异常行为的同时可以定位到IP地址等具体信息,有助于网络管理人员快速及时地定位和处理。有效解决了基于流量的网络异常检测算法中能够及时发现异常但是不能准确定位的问题,同时排除了流量大小对准确性的影响。此外,为了解决异常报警信息过多导致网络管理人员效率下降的问题,CNADS系统将类似的连续异常记录归纳合并为一条。
3.在详细分析P2P流量识别、网络终端扫描检测等特定网络应用之后,尝试利用数据挖掘方法对该类问题提出了解决方法,证明具有一定的可行性。
4.提出了一种利用数据挖掘技术检测网络服务器安全性的方法。该方法不占用网络服务器的资源,而且能够在网络入侵或者攻击完成之前就及时发现异常,为采取应急措施争取了宝贵时间。
在系统初步完成并部署之后,实验效果显示,该方法利用数据挖掘技术可以有效及时地发现网络异常行为,充分弥补了商业入侵检测系统的不足,证明该方法切实可行。