大规模网络中异常事件实时检测与跟踪系统的设计与实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:tianwang800
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在环境监测、交通网络、数据中心等很多领域中,对异常事件及时、及早的检测和跟踪,是一件非常重要而有意义的事。尤其是在很多领域中,事件发生后往往具有扩散性的特征,会影响周围的区域。对被影响的异常区域的实时检测和跟踪是一件非常符合管理人员实际需求的事,能够帮助管理人员快速地缩小需要检测分析的异常区域,定位事件发生源头,进而控制事件影响的范围和程度,从而大大减轻管理人员的监测负担。近年来,随着经济的发展和技术的进步,对大规模网络实时监测的需求和应用越来越多,大规模网络实时监测和异常检测已成为研究热点。  本文在此背景下研究和探讨了大规模网络异常事件的实时检测问题,分别从时空模式和相关性两个方面提出了异常区域的实时检测与跟踪方法。具体说来,本文的研究内容和创新包括:  1.提出了基于状态转换图的异常区域检测与跟踪方法。  该方法考虑在很多网络中异常事件是难以预定义或者学习的,因此首先学习网络正常的行为模式,挖掘网络的运行规律,然后基于挖掘到的网络运行规律去检测异常事件。在很多领域中,网络运行是有规律的:网络具有一些内在状态,会在一个状态持续一段时间,然后跳转到下一个状态,这样周而复始、循环往复地运转。本文用状态转换图来描述、挖掘网络的这种运行规律。然后基于状态转换图去预测,比较发现和跟踪网络中扩散的异常区域。这种方法能够高效地进行异常检测,同时方法又通俗易懂,具有很好的可解释性。实验结果表明采用该方法进行异常事件检测,准确性和实时性高,同时也具有很好的可扩展性。  2.提出了基于相关性的异常区域检测与跟踪方法。  该方法考虑在稳定运行的网络中,相邻结点之间的相关性一般比较大,而且波动小,而当异常发生时,由于异常区域结点和其邻居结点的内在联系(依赖性)遭到破坏,异常区域结点和其邻居结点的相关性会发生显著波动。因此,可以基于相邻时刻结点和其邻居结点集相关性的变化发现网络中的异常点集,然后基于相邻时刻异常点集的变化构建和跟踪异常区域。创新之处在于:该方法只需考虑结点和邻居结点集的相关性变化,复杂度为O(n)(n为网络的规模),避免了其它很多相关性方法考虑任意两个结点相关性导致复杂度高的情况。实验结果显示该方法在有效性、高效性和可扩展性方面同样具有很好的性能。  最后,将这两部分研究工作集成起来,设计并实现了大规模网络异常事件实时检测与跟踪系统。
其他文献
选举问题主要研究各种不同的选举规则可能带来的不同结果,它是社会选择理论中的一个重要研究方向。在选举理论中,孔多塞提出了用配对的比较结果来描述基于锦标赛形式的选举,并将
随着互联网的迅猛发展,网页的信息量呈指数型增长,逐页浏览信息已经不能满足人们的要求,信息抽取技术应运而生。信息抽取技术使人们不用进一步人工筛选符合自己需求的内容而
随着现代教育技术和教育信息化的深入发展,教学资源库在现代教育中发挥着越来越重要的作用,已成为新一代校园数字化建设的核心,建设优质、高效的专业教学资源库对于高职院校的专
随着信息技术的进步和飞速发展,各类软件己成为生产力发展和文明进步的强大动力和支撑。如何构建高质量、低风险、可预期、可掌控的可信软件则越来越为人们所重视。围绕“软
作为一种新的软件范型,网构软件所面临的一个关键挑战来自于开放、动态和多变的网络环境所带来的负载动态性。在动态、多变的Internet环境中,用户的行为难以预测,其具体表现为用
云计算作为一种新的计算模式越来越受欢迎,它有效地通过互联网整合大规模计算资源、存储资源,并把这些资源虚拟化,以服务的形式按需提供给用户。云存储是近年来随着云计算的发展
目前流行的信息搜索方法大都基于关键字的匹配,尽管已经出现了赋予文档、查询语句语义含义的检索模型,但这些模型本质上是从句形相关度的匹配转变为词汇语义相关度的匹配。由于
随着计算机网络、多媒体通信的迅猛发展,在网络上进行沟通和信息传输成为现代人交流的重要方式。多媒体数据特别是数字图像信息以其生动、形象直观的特点在多媒体通信中占有
近几年,宽带互联网迅速普及,多媒体技术发展日新月异,向大规模用户提供流媒体服务成为互联网的关键应用之一。大规模网络流媒体应用面临着可扩展性和服务质量两个关键技术需求。
随着计算机、自动化和网络技术的发展,水站远程监控系统的规模越来越大,这造成设备管理困难,设备驱动程序多样化,系统耦合度高等问题。同时,水站业务需求越来越复杂,包含了多