论文部分内容阅读
随着我国网民数量的不断增加、“互联网+”概念的提出和网络安全上升为国家战略,网络安全逐渐成为互联网发展的重要组成部分。近期,Heartbleed、Bash漏洞、反射性DDoS攻击等重大网络安全事件频发,需要进行有效的网络安全事件检测和应急响应,而在关键网络节点进行数据采集对网络安全事件检测和应急响应至关重要。网络安全监控与应急响应系统MONSTER(Monitor On Network Security and Tool for Emergency Response)集成了报文采集过滤、应用元数据采集、网络入侵检测协同和响应等功能。针对MONSTER在CERNET南京节点网络安全应急响应中不具备应急采集功能以及应用元数据采集不完善等问题,本文提出了在万兆信道网络流量下进行高性能应急采集、元数据采集的研究内容。应急采集在网络安全应急响应中采集特定通信对象的原始网络流量。应急采集以端口镜像的方式复制CERNET南京节点和CERNET主干网边界万兆信道上的网络流量,面对高速网络流量捕获和处理的性能压力,应急采集首先将采集任务转化为采集规则,根据采集规则控制交换机端口的ACL,实现交换机的网络流量筛选。其次,应急采集使用基于0-copy的报文采集工具PF_RING DNA,能够以零丢包率的方式采集万兆网卡上的所有报文。然后将多线程绑定在CPU多核上并发采集报文,并根据采集规则对报文进行分类筛选,将匹配采集规则的报文写入到共享缓冲区中。最后使用多线程并发对共享缓冲区中的报文进行时间排序和存储。元数据采集在CERNET南京节点和CERNET主干网边界采集特定协议(HTTP、 DNS、IRC)报文中的元数据信息。元数据采集针对网络边界的高速网络流量,首先根据HTTP、DNS、IRC的协议类型和端口号控制交换机的ACL进行流量筛选。然后使用多线程对采集到的报文进行协议解析和元数据提取,并将元数据写入到共享缓冲区中。最后元数据合并存储线程根据哈希查找算法对元数据的请求和响应进行合并处理,并存储在文本文件中。最后,本文设计并实现了系统的性能监控、故障检测、日志管理、进程启停管理等功能,并对应急采集和元数据采集进行了系统性能测试和任务管理测试。实验结果表明,MONSTER能够以零丢包率地在万兆信道中进行高性能的应急采集和元数据采集。