高级持续性威胁(APT)是指精通复杂技术的入侵者利用多种入侵向量(如网络、物理和欺诈),借助丰富资源创建机会实现自己目的的行为。近年来,APT事件频频发生,例如RSA SecurID事件、“Night Dragon”事件等等,对企业跟社会造成很大的威胁。因此,APT检测技术的研究势在必行,对APT检测技术进行研究是现在网络信息安全领域非常关键的一个研究点。本文对典型的APT入侵案例进行建模分析,设计了典型APT入侵—“Night Dragon”的类图、顺序图和活动图等内容,在此基础上,分析了APT入侵行为的一般性规律和特点,并将其与传统的黑客入侵行为进行对比。该部分研究结果表明,APT入侵行为具有持续时间长、隐蔽性高的特性,对检测数据来源的时间跨度和空间覆盖程度以及检测算法的复杂性均提出了较高的要求。通过建模发现,对APT的检测势必需要对大量的网络流量数据进行分析,而由于原始网络流量的数据量过于庞大,对其进行分析需要大量的系统资源,同时分析效率也比较低。因此,为了能够更好的对APT进行检测,本文将对NetFlow流原始数据进行一定预处理以供APT分析检测所用。对一个内部网络的所有网络流量进行预处理,本文针对NetFlow流的预处理进行研究,主要包括将网络中所有的NetFlow流数据进行采集以及对其进行聚合处理以供分析。本文设计了一个可以高效采集NetFlow流的采集器,基于多链表队列的缓冲机制降低丢包率。同时由于繁忙网络中,NetFlow流的产生速度比较快,数量比较多,因此对其进行分析可以首先将它们按照一定规则进行聚合,减少数据的分析量,提高分析效率。在NetFlow流聚合上设计了基于时间的多重数据粒度以满足分析需求,再根据网络流量特点,设计出几种NetFlow流聚合策略,基于IP的Net Flow流聚合、基于端口的NetFlow流聚合以及基于协议的NetFlow流聚合。Hadoop是当前最为主流的大数据分析平台,它是分布式的处理架构。本文基于Hadoop大数据分析处理平台以及Map-Reduce分布式计算框架设计了NetFlow流聚合的系统结构以及Map()函数和Reduce()函数。最后,根据上面提出的基于Hadoop的NetFlow流预处理技术,对采集与聚合的研究进行实验分析。