随着计算机技术的迅猛发展和网络应用的日益广泛,网络安全监控在维护网络正常高效运行、保障网络和信息系统安全以及分析网络用户行为等方面,具有越来越重要的作用。然而,大规模网络安全监控数据的高效处理需求和有限的计算、存储、网络带宽等资源之间的矛盾日渐突出,如何采用合适的技术,在有限的计算存储资源情况下,对无限、快速、持续到达的网络安全监控数据进行处理,成为网络安全监控系统面临的首要问题。流数据重复检测作为流数据处理中的一个重要环节,一方面,对检测出的重复数据进行分析,进而为后续的网络安全监控应用提供支持;另一方面,通过删除检测出的重复数据,可以更好地实现有效的网络传输和高效的在线分析处理。本文以网络安全监控为背景,针对网络安全监控数据处理存在的问题,对当前的数据流管理系统和流数据重复检测技术进行了研究。主要工作有:1、系统地研究了部分已公开的数据流管理系统,对各自的应用领域、体系结构、查询语言、组成和特点等进行了分析,提出了满足网络安全监控要求的数据流管理系统。并以TelegraphCQ数据流管理系统为例简要分析了其中实现的重复检测方法。2、通过对现有流数据重复检测技术的研究,针对网络安全监控流数据的特点,提出了一种流数据重复检测算法。该算法通过增加更新过程来弥补Bloom Filter的不足,应用基于改进的Bloom Filter的界标窗口模型,在给定固定小的空间和允许一定误称率的情况下,获得了较好的准确率和时间效率。3、在网络安全监控数据流管理系统中实现了上述流数据重复检测算法,降低了后期需要处理和分析的数据量,提高效率,并节约存储空间。综上所述,本文针对网络安全监控这一典型的数据流应用场景,提出并实现了一种流数据重复检测算法,对流数据处理有一定的实用价值。