基于Hadoop平台的日志挖掘分析技术研究

来源 :中国航天第二研究院 航天科工集团第二研究院 | 被引量 : 0次 | 上传用户:suhuisu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前越来越多的企业建立了企业内网,其中安全问题是建设企业内网关注的焦点。为了提高企业内网防御网络恶意行为的能力,本文通过对企业内网中多种来源的日志数据进行挖掘分析,检测网络中的用户行为,发现其中的异常行为,从而增强企业内网的安全。  由于部署了大量的安全设备、网络设备、应用系统和主机,企业内网的规模越来越大,日志数据相应地大量增加,同时日志种类和格式更为复杂多样,海量、异构日志数据的分析已成为传统日志分析方法的瓶颈。在这一背景下,本文基于Hadoop平台构建了一种新的日志分析模型,针对当前日志数据的特点,选择数据挖掘技术对日志数据进行分析,提出了一种MapReduce并行编程模式的逆序Apriori算法(以下简称“逆序算法”),该算法的时间复杂度和空间复杂度较低,提高了计算用户行为频繁模式的效率。根据用户行为的频繁模式计算出强关联规则,进而建立强关联规则库,将实时日志数据与规则库中的强关联规则进行模式匹配。若匹配均能成功,则判定实时日志数据中的用户行为操作属正常行为操作;若存在匹配失败的情况,则判定为异常行为操作,从而实现了用户实时行为操作的检测。  将本文提出的逆序算法与其他MapReduce并行化模式的Apriori算法通过实验作比较,得出了算法执行时间与处理日志数据量之间的关系。实验结果表明,逆序算法处理海量、异构日志数据具有更高的效率。同时,本文提出的基于Hadoop平台的日志挖掘模型分析混合日志数据的准确率更高,该模型在当前企业内网中具有较好的适用性。
其他文献
随着移动增值业务的不断丰富,移动增值业务系统应该朝着综合统一的方向发展,为SP/CP提供统一的业务接入手段;对各种增值业务进行统一管理、统一控制、综合计费;为未来3G网络中各
随着软件系统规模的日益增大,软件系统的结构也变得日趋复杂,保证软件系统的质量也逐渐成为软件技术研究的重点。调查研究表明,软件的资源泄漏故障是影响软件系统质量的主要原因
随着网络技术的发展和网络应用的日益增加,信息安全问题日益凸现。当前信息安全技术主要包括密码技术、身份认证、访问控制、入侵检测、风险分析与评估等诸多方面。在实际应用
近年来,随着多媒体技术和计算机网络的飞速发展,全世界的数字图像的容量正以惊人的速度增长。无论是军用还是民用设备,每天都会产生容量相当于数千兆字节的图像,其中包括来源于卫
在信息技术日益普及的今天,互联网技术和移动技术使得计算机平台完成跨区域的工作变得更加方便。人们对于计算机信息的隐私保护、共享以及安全性提出了新的要求,在这种条件下对
随着信息技术不断应用于军事领域,现代战争模式正逐渐从机械化模式向信息化模式转换。信息战将是20世纪末到21世纪初军事技术革命的集中体现,作为信息战核心的信息技术正奇迹般
21世纪是信息网络的世界,信息技术和网络空间,给社会的经济、科技、文化、教育和管理的各个方面注入了信息的活力,网络已经成为了人们日常生活不可缺少的一部分。但随着互联网应
随着科学技术的飞速发展,知识呈爆炸式增长,人们需要掌握的知识和技能越来越多,如果继续按照原来的学习方式,势必会落后于社会的发展,被社会所淘汰,因此学习者需要提高自身的学习能
当前,基于Web服务的分布式应用(如电子商务与电子政务)得到了快速的发展,而典型的Web服务正面临着各种新的安全问题,传统的安全保护方法已无法胜任。在服务使用者访问Web服务之
通信技术的进步,网络的发展,各个领域与互联网的联系越来越紧密。一方面,行业对信息的需求量越来越大,越来越专业,希望从搜索引擎返回的尽量是领域相关的信息:另外一方面,任何用户都