论文部分内容阅读
网络安全事件的经常性的爆发,严重危害了网络的安全。网络通联日志是会话主机之间的连续数据报文产生的日志,能够清晰的描述网络状况。如果能够通过检索通联日志来获取安全事件的发生情况,就能为网络管理提供极大的便利。由于网络扫描等安全事件特征具有多样性和独特性,标准SQL算子无法完全描述这些特征,并且由于通联日志的海量特性,当前通用的检索引擎无法满足本文的检索需求。本文通过对网络安全事件特征的分析,对安全事件特征的SQL描述的研究,对网络通联日志的检索方案的研究,最终完成了面向安全事件的网络通联检索引擎的设计与实现。本文主要的研究内容包括:1、通过对网络扫描等网络安全事件在通联日志中表现出的特征进行分析,并以标准SQL算子或者自定义SQL算子描述这些特征,获取专用于描述安全事件的一系列SQL算子,最终设计并实现了面向安全事件的专用SQL语法分析器。专用SQL语法分析器的功能就是分析由SQL算子组成的SQL语句,最终获取到用户的检索意图。2、通过对通联日志的特征的分析以及SQL转化为MapReduce任务的方式的研究,设计并实现了基于MapReduce的SQL检索执行引擎。SQL检索执行引擎的功能就是将包含安全事件特征检索的SQL对象转化为基于MapReduce的检索程序,然后通过在Hadoop系统上执行检索程序来检索通联日志,最终获取检索请求所需要的与安全事件相关的信息。3、设计并实现了面向安全事件的网络通联检索引擎的原型系统。原型系统就是将SQL语法分析器和SQL检索执行引擎结合起来,并添加必要的用户交互模块和优化模块,以此形成的可正常运行的、支持安全事件检索的系统。该原型系统除了能够完整执行SQL检索之夕外,还支持缓存和多用户并发使用等功能。最后通过对原型系统的测试,证明了原型系统各个模块实现的正确性与合理性,同时证明了本文的检索方案的可行性。