论文部分内容阅读
在许多最近出现的应用中数据都以连续、无界、快速、时变的数据流形式出现,在此之上产生了数据流管理系统(DSMS)的概念。冰山查询是数据流管理系统中的一个典型应用,例如网络攻击检测、热点查询分析、环境突变监测等。而数据流系统快速时变的特点引出对数据峰值有效处理的需求,在数据流入速度超过数据流系统处理能力时,如何保证结果的正确性和时效性,这促使在数据流管理系统中提出了诸多有效的LoadShedding解决方案。
但现有LoadShedding机制并不能有效解决过载情况下的冰山查询问题。冰山查询是对数据流中频繁项集的挖掘,其具有对元组分布特征的敏感性,这使得数据峰值的出现对冰山查询有效性的影响额外显著。特别是在许多应用中,数据峰值带来的不仅是更多的数据,而且还是分布特征异于通常情况的数据,冰山查询的结果常常来自于这些数据峰值中的数据,例如网络DOS攻击检测等。
为了提高冰山查询应用在高负载情况下的可用性,本文设计实现了针对冰山查询的LoadShedding机制,在发生数据峰值时不仅通过数据压缩降低系统负载,同时通过预处理器模块生成保留了元组分布特征信息的范围元组,并设计实现了接受范围元组作为输入的SCOPE-FDPM-1冰山查询算法。
预处理器模块根据用户设定的时延容忍度对Argus未处理的元组进行存储,并在过载时对存储队列按照等深直方图的方式进行压缩,使其能够较好的保留高频元组的信息,而后生成范围元组提交给Argus查询引擎。SCOPE-FDPM-1算法从FDPM-1冰山查询算法演化而来,能够有效的处理范围元组携带的分布特征信息,在数据过载的情况下尽可能减少对冰山查询算子效能的损失。
通过对天网日志分析的试验表明,本文所提出的过载下冰山查询机制能够在一定程度上减少出现数据峰值时冰山查询算子效能的损失,优于传统的LoadShedding机制。