论文部分内容阅读
随着计算机网络的普及和发展,网络用户的规模在逐渐扩大,网络用户的行为也越来越复杂。一方面需要快速检测和有效控制网络破坏、网络欺骗和网络入侵等网络违规行为;另一方面需要对用户使用网络的行为习惯、爱好进行了解,以实现更好的网络服务。因此对网络用户行为的研究与分析越来越重要。本文在Netflow技术的基础上,分别从以下两方面着手作了相关研究。实现用户异常行为的检测。首先,对用户行为建模,已有研究基于网络Netflow流信息进行IP为源和目的的混合特征统计建模,本文在这个基础上作了修改,即根据IP为源和IP为目的进行分开建模,这样能够在已有研究的用户行为属性上进行降维,同时也纠正了混合特征对结果的影响;然后,采用了一种经典的快速聚类算法K-Medoids算法,并针对其存在的缺陷:需要输入聚类个数K导致聚类结果不稳定,通过引用参数聚类半径R,在不需要输入聚类个数K的情况下,获得最佳的聚类质量和聚类个数;最后,设计了一种异常反选择标准,即密度评估标准,既能控制本文实行局部聚类对检测结果的影响,又能有效对聚类后的异常行为进行识别。本文方法比已有研究的算法快速,而且检测率要高,误检率要低。实现网络用户业务偏好的分析。首先,通过采用已有的业务识别工具对网络用户业务数据流进行各业务流量比例统计,为用户业务行为建模;其次,在用户的业务行为具有层次特点的基础上,采用数据挖掘中经典层次聚类算法来对用户的业务行为进行聚类,实现用户使用业务偏好的群体划分。在聚类过程中,利用了信息论中熵的概念,通过对用户业务行为进行熵值计算和熵值区间划分对用户进行初步分组,以及一次性合并多个相似单点簇的方法来快速减少数据规模两种策略来降低聚类的时间复杂度。实验表明,本文方法比经典层次聚类算法以及基于生成树的改进算法执行时间都要少得多。最后,设计了一个用户行为分析比较完整的系统。该系统主要涉及网络数据采集、行为提取、行为分析、数据存储、管理控制平台等相关模块。