论文部分内容阅读
在环境监测、交通网络、数据中心等很多领域中,对异常事件及时、及早的检测和跟踪,是一件非常重要而有意义的事。尤其是在很多领域中,事件发生后往往具有扩散性的特征,会影响周围的区域。对被影响的异常区域的实时检测和跟踪是一件非常符合管理人员实际需求的事,能够帮助管理人员快速地缩小需要检测分析的异常区域,定位事件发生源头,进而控制事件影响的范围和程度,从而大大减轻管理人员的监测负担。近年来,随着经济的发展和技术的进步,对大规模网络实时监测的需求和应用越来越多,大规模网络实时监测和异常检测已成为研究热点。 本文在此背景下研究和探讨了大规模网络异常事件的实时检测问题,分别从时空模式和相关性两个方面提出了异常区域的实时检测与跟踪方法。具体说来,本文的研究内容和创新包括: 1.提出了基于状态转换图的异常区域检测与跟踪方法。 该方法考虑在很多网络中异常事件是难以预定义或者学习的,因此首先学习网络正常的行为模式,挖掘网络的运行规律,然后基于挖掘到的网络运行规律去检测异常事件。在很多领域中,网络运行是有规律的:网络具有一些内在状态,会在一个状态持续一段时间,然后跳转到下一个状态,这样周而复始、循环往复地运转。本文用状态转换图来描述、挖掘网络的这种运行规律。然后基于状态转换图去预测,比较发现和跟踪网络中扩散的异常区域。这种方法能够高效地进行异常检测,同时方法又通俗易懂,具有很好的可解释性。实验结果表明采用该方法进行异常事件检测,准确性和实时性高,同时也具有很好的可扩展性。 2.提出了基于相关性的异常区域检测与跟踪方法。 该方法考虑在稳定运行的网络中,相邻结点之间的相关性一般比较大,而且波动小,而当异常发生时,由于异常区域结点和其邻居结点的内在联系(依赖性)遭到破坏,异常区域结点和其邻居结点的相关性会发生显著波动。因此,可以基于相邻时刻结点和其邻居结点集相关性的变化发现网络中的异常点集,然后基于相邻时刻异常点集的变化构建和跟踪异常区域。创新之处在于:该方法只需考虑结点和邻居结点集的相关性变化,复杂度为O(n)(n为网络的规模),避免了其它很多相关性方法考虑任意两个结点相关性导致复杂度高的情况。实验结果显示该方法在有效性、高效性和可扩展性方面同样具有很好的性能。 最后,将这两部分研究工作集成起来,设计并实现了大规模网络异常事件实时检测与跟踪系统。