随着Internet的飞速发展,网络规模逐渐扩大,网络流量行为也越来越复杂,导致异常行为增多,所以有必要对这些网络行为进行监测和分析。因此,基于异常流量分析系统的数据采集、处理就显得十分重要。随着网络带宽的不断增加,在高速网络条件下如何更有效率的进行数据采集和处理,对流量异常检测及系统来说是一个非常关键的问题,也是本文研究的内容。　　 本文将几种高效率的数据采集技术有机的整合起来,设计出一个通用的数据采集系统的系统架构,实现了支持数据包和数据流两个层面数据的数据采集系统,为各种异常检测及分析系统提供定制数据采集的支持。本文做的主要工作如下:(1)分析了一些常见的异常流量检测及分析系统的数据需求,从数据包、数据流两个层次为异常流量检测及分析系统提供数据的定制采集和数据的预处理,减轻了这些系统的负担。(2)对采集到的数据包进行流归并,将生成的数据流和之前采集到的数据包统一放到存储区内,进行整理和调度,并通过输出通道和输出接口将数据传递给异常流量检测及分析系统使用。(3)设计并实现了通用的数据采集系统。详细介绍了采集系统的框架、各功能模块的功能以及各个模块之间的联系。设计的系统具有高效率、通用性和扩展性的特点。　　 通用数据采集系统具有以下三个主要的特点:第一,系统采用的数据采集技术结合了内存映射技术和双轮询技术来优化流量采集过程,降低了系统的开销,提高了效率。第二,提供定制数据采集的功能,通过不同的过滤条件来筛选数据包和数据流,为多种异常流量检测及分析系统提供数据,保证了其通用性。第三,本系统兼顾了数据的同步采集和异步采集。一方面考虑实时采集数据的速度,以供实时判断系统进行流量识别、判断；另一方面要将采集到的数据存储打包交给离线检测系统对数据进行分析。