随着互联网技术的不断发展,随之而来的网络攻击技术不断地对网络安全形势造成威胁。传统的网络流量监控方式对于当前不断提升的网络带宽来说难以得到满足。本文提出了基于DPDK框架的流量实时重组及存储技术方案,弥补了对于传统流量重组技术在实时性方面的不足;同时本文使用小文件合并以及对文件进行预读的方法优化了流量文件存储时的读写性能。其中所提出的流量实时重组方案以及对pcap文件的存储方案能够为后续的流量审计工作打下良好基础。本文对流量采集和重组技术以及流量数据存储等相关技术进行了研究。针对流量数据重组的性能效率问题,提出了基于DPDK框架的流量实时重组方案。该方案通过采用各个处理器核心内独立的流表以及超时检测队列的设计,使流量重组功能能在10Gbps网络得到了实时性的保障。针对DPDK框架使用的对称RSS算法无法满足多个处理器核心之间的负载均衡问题,本文提出了一套可用的负载均衡算法。通过采用多重hash的思想,使得采集到的网络流量能够被均衡分配至各个CPU处理核心中,提升了DPDK框架对于数据包进行多核处理时的性能;针对网络流量重组后可能产生过多小流量文件,从而影响HDFS读写效率的问题,本文提出使用FMM对小文件进行合并的方案。该方案通过在HDFS的Name Node与客户端之间加入文件元数据管理层对文件索引进行统一管理以及对小文件进行合并处理,能够在对小文件进行存储操作时减少与Name Node交互的次数;同时针对文件审计工作时对流量文件读取通常按照时间顺序的特点,设计了文件预读方案,提高了对小文件的读取性能。本文在上述技术方案的基础上进行了原型系统的设计与实现。该原型系统能够实现对流量数据的采集,并实现了网络流的高效重组功能。此外,在流量数据重组完成后本文还基于分布式文件系统实现了流量数据的持久化功能。本文还在该原型系统的基础上进行了实验与测试,实验结果表明该原型系统能够实现在10Gbps的网络环境下对流量数据进行采集以及实时流量数据重组,并能够将流量数据持久化至磁盘中。在10Gbps的网络环境下流量重组的高效性及实时性都有较好提升。相对于原本的DPDK方案,流量重组的处理效率提升了12.7%。而对于本文提出的小文件合并方案以及预读缓存方案,经实验对比相对于原始的HDFS对于小文件的存储效率提升了13.9%,而对于小文件的读取效率提升了37.3%。