论文部分内容阅读
互联网应用的安全性问题一直是人们关注的焦点,任何网站都不可能做到无懈可击,漏洞的存在对网站和用户都是极大的威胁。对于网站开发人员来说,如何使Web网站系统尽可能的减少漏洞成为了首要任务。Web应用的日志是反应整个系统的重要保证,从Web日志中可以得到系统的运行状态、性能指标、用户的访问行为以及各种统计分析所使用的有价值数据。Web日志是互联网系统的重要财富,通过Web日志挖掘,可以分析日志中反应的用户行为,抽离用户个性喜好并,结果数据可以应用在诸如搜索优化、推荐系统、网站结构化分析等多方面。在日志挖掘的研究中,单机处理能力已经难以适应海量日志数据。本文重点研究了多源的日志格式,并完成了在Hadoop平台下,对Web日志的日志预处理、聚类分析,并将用户行为集应用于漏洞挖掘研究分析中。本文的主要研究工作内容如下:首先,分析了漏洞挖掘与入侵检验系统的国内外研究现状,结合日志挖掘的相关理论,提出了以Web日志日志挖掘为基础,分析用户行为,并以此为依据挖掘网站漏洞、防范入侵攻击的可行性。其次,对Web日志系统调研,分析了不同的日志格式,并对日志的作用进行了详细阐述,对日志挖掘的作用及日志挖掘的步骤与算法进行了说明。为了系统能具备收集分布式系统实时日志,并分析处理海量日志的能力,本文结合了对Hadoop分布式框架与开源日志分析系统ELK的深入学习与实践,阐述了以并行编程框架MapReduce进行日志处理的可行性与优势。然后对常用的日志挖掘分析算法进行了阐述,分析了多种聚类算法、关联规则算法的优劣。并结合Hadoop提供的机器学习框架Mahout,实现了 Mahout所提供的K-means聚类算法。对用户行为集进行了聚类处理,并对处理结果进行了验证。最后,本文依托于Hadoop生态圈给出了基于日志挖掘的漏洞挖掘系统原型。