随着计算机技术的飞速发展和网络应用的日益广泛,互联网在人们的生活中扮演着越来越重要的角色。与此同时,各种网络安全事件层出不穷,严重威胁着互联网的应用和发展。以安全为目的的网络监控,在维护网络正常高效运行、保障关键设施和信息系统安全等方面,具有越来越重要的作用。如何对分布、海量的网络安全监控数据实施有效的网络传输和高效的在线分析,进而为各种应用提供进一步支持,成为网络安全和数据处理领域的一个重大挑战。本文以网络安全监控为背景,针对网络监控应用特点和当前监控数据处理存在的挑战性问题,从数据流处理角度,对分布式网络安全监控数据处理中几个关键问题的高效处理技术进行了研究。主要贡献为:1、针对分布式连续极值查询,研究了计算、存储、通信高效的处理方法。首先提出了一种数据裁剪策略,仅需保存部分关键点便可满足查询需要;远程节点采用延迟传输算法DTA,在保证结果正确性的前提下尽量延迟数据传递并依据裁剪策略对局部数据流进行过滤,达到降低网络通信量的目的;集中式节点采用多极值查询处理算法MCEQP,充分利用系统中多个查询间可共享的资源,将多个查询作为整体进行考虑,比对每个查询分别单独处理更加高效。理论分析和实验结果表明,当数据规模较大时,裁剪策略可以丢弃约99%的数据,若数据满足独立均匀分布,实际需要保存的关键点个数仅为O(logN);与传输所有数据的方法相比,DTA方法仅需不到10%的通信量;MCEQP方法也比目前已有的基于资源共享技术的通用方法更加高效。2、针对分布式阈值监控,研究了低通信开销的处理方法CEM。该方法充分利用被监控对象间的相对关系,把多个对象作为整体进行统一处理,将多个对象的持续监控变为对一个代表对象的监控和对局部约束条件的维护操作,比分别单独监控每个对象更加高效;只有当局部约束被打破时,才需要通信并进行参数调整以重建约束。理论分析和真实数据集上的实验表明,与将对象分别独立监控的方法相比,CEM方法能够有效降低约70%的通信开销。3、对网络安全监控环境下的Skyline查询进行了研究。考虑网络安全监控场景与先进先出滑动窗口单数据流场景存在很大差异,原有数据流上的连续Skyline计算方法不再适用。针对这一情况,首先概括出了按任意顺序随机增删的多数据流场景下的Skyline计算问题,然后提出了两个解决算法:基本算法BCSC和基于网格索引数据结构的算法GICSC。前者是在已有算法基础上的适应性改造,而后者采用了新颖的数据结构以及高效的初始化和动态维护方法,在保证结果正确性的前提下仅需对部分数据进行处理,因此具有更高的效率。根据数据分布和维度的不同,GICSC每秒能够处理10~3～10~5个数据。由于没有对数据流特性进行假设限制,因此BCSC和GICSC算法具有更广泛的适应性,能够满足网络安全监控中随机增删的多流场景。4、对基于预测模型的通用降低通信开销方法进行了进一步研究。描述了该方法的详细体系结构,改进了现有的预测模型并与之进行了比较。理论分析和真实数据集上的实验证明了改进后的模型在预测准确率、降低通信开销等方面的优势。5、基于上述关键技术的研究探索,设计并实现了一个网络安全监控数据流处理引擎StarAnalysis+的系统原型,并讨论了其在“北京奥运网安全态势分析与展示系统”中的验证性应用等问题。综上所述,本文的工作针对网络安全监控应用中亟待解决的数据处理问题,就几个重要的基础操作进行了计算、存储、通信高效的关键算法突破研究,同时提出了基于预测模型的通用降低通信开销框架,对于促进大规模网络安全监控数据处理的理论研究和实用化具有一定的理论意义和应用价值。