论文部分内容阅读
当前越来越多的企业建立了企业内网,其中安全问题是建设企业内网关注的焦点。为了提高企业内网防御网络恶意行为的能力,本文通过对企业内网中多种来源的日志数据进行挖掘分析,检测网络中的用户行为,发现其中的异常行为,从而增强企业内网的安全。 由于部署了大量的安全设备、网络设备、应用系统和主机,企业内网的规模越来越大,日志数据相应地大量增加,同时日志种类和格式更为复杂多样,海量、异构日志数据的分析已成为传统日志分析方法的瓶颈。在这一背景下,本文基于Hadoop平台构建了一种新的日志分析模型,针对当前日志数据的特点,选择数据挖掘技术对日志数据进行分析,提出了一种MapReduce并行编程模式的逆序Apriori算法(以下简称“逆序算法”),该算法的时间复杂度和空间复杂度较低,提高了计算用户行为频繁模式的效率。根据用户行为的频繁模式计算出强关联规则,进而建立强关联规则库,将实时日志数据与规则库中的强关联规则进行模式匹配。若匹配均能成功,则判定实时日志数据中的用户行为操作属正常行为操作;若存在匹配失败的情况,则判定为异常行为操作,从而实现了用户实时行为操作的检测。 将本文提出的逆序算法与其他MapReduce并行化模式的Apriori算法通过实验作比较,得出了算法执行时间与处理日志数据量之间的关系。实验结果表明,逆序算法处理海量、异构日志数据具有更高的效率。同时,本文提出的基于Hadoop平台的日志挖掘模型分析混合日志数据的准确率更高,该模型在当前企业内网中具有较好的适用性。