基于最窄平行四边形的数据流突变检测算法

来源 :复旦大学 | 被引量 : 0次 | 上传用户:lala601
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据流上的突变检测在网络流量监测,金融风险分析,传感器网络等领域都有着十分广泛的应用。传统的突变检测算法只能对流上的聚集函数值进行检测,而在现实应用中,还有相当一部分的突变检测要求能针对非聚集函数进行检测。本文提出了一种新颖的数据流上的突变检测算法,即最窄平行四边形法。该方法用一系列扁平的平行四边形来模拟数据流上具有相同趋势的点,并保证每个点的误差不超过平行四边形宽度的一半。于是,等距到达的数据,便可根据得到的平行四边形还原其中的每一个点,从而实现基于任意类型函数的突变检测。在提出最窄平行四边形基本算法之后,本文又对该算法进行了一系列改进,使其时间复杂度从O(nh)降到了O(h),其中n为平行四边形内包含的点的个数,h为覆盖这些点的凸包的边数。通过对真实数据流上的数据进行实验分析,以及与现有突变检测算法的比较,验证了最窄平行四边形算法在时间和空间上的高效性。针对现有各种基于直方图的突变检测方法在构造数据流模型时存在的空间低效性,本文又对最窄平行四边形法进行了扩展,使其在针对聚集函数的突变检测中能更加节省存储空间,从而在相同的内存容量限制下能检测更大的滑动窗口。最后通过实验验证了该方法对现有基于直方图的突变检测方法的优越性。本文的主要贡献可总结为如下三方面:·基于大部分数据流上数据变化的规律,提出了最窄平行四边形法。通过对流上原始数据进行压缩,支持基于任意函数的突变检测。据我们所知,这是第一次把凸包算法应用到数据流的突变检测上来。·对基本的最窄平行四边形算法进行了改进,使其时间复杂度从O(nh)降到了O(h),从而更加适用于高速的数据流环境。·扩展了最窄平行四边形法,令其作用在原始数据的后缀和上。从而使得在针对基于聚集函数的突变检测上,该算法具有更为经济的时空复杂度,弥补了现有基于直方图算法的缺陷。本文提出的突变检测算法是建立在大量的理论分析之上,并通过对真实数据的实验测试的。该算法能普遍适应多种数据流检测环境,满足用户对功能与效率的需求。
其他文献
如今网络搜索引擎成了人们获取信息的一个重要途径,人们在希望搜索引擎能够提供全面的信息资源的同时,也对搜索引擎的服务提出了更高的要求。如何能通过一种有效的方式获取最
三维重建的两个重要的性能指标就是模型精度与自动化程度,本文的三维重建研究主要针对基于结构光的三维扫描仪。结构光三维扫描仪利用一台投影仪投影特征编码的结构光图案,由
随着信息技术的快速发展,计算机网络己经成为人们工作、生活必不可少的基础设施。与此同时,网络的规模和复杂性出现了爆炸性的增长。这使得传统的基于SNMP的网络故障检测由于
随着网络技术的快速发展和人类社会信息化程度的不断提高,人们对网络的依赖性日益增强,随之出现的网络安全问题也不断增加。入侵检测作为一种主动防御网络攻击的手段,已成为
随着世界越来越信息化的发展,软件产品越来越多,遍布各行各业,软件质量的重要性也逐渐为人们所察觉,软件测试步入人们的视线。回归测试就是软件测试过程中比重最大的一个环节
模式的特征表示及提取是模式识别中的一个重要问题,特征表示及提取的有效性对于分类等问题的解决具有决定性作用。在诸如计算机视觉等领域中,数据往往具有较高维数,此时,出于
目前,安全协议的验证工作主要采用各种形式化方法,如逻辑证明和模型检测。基于逻辑证明的安全协议分析在发现协议是不安全的之后不能给出现实的攻击路径,且协议的理想化过程及主
融合传感器、嵌入式计算、分布式信息处理和无线通信等众多技术而形成的无线传感器网络是一种全新的信息获取、处理和传输技术,由于无线传感器网络具有组网快捷、灵活,且不受
随着信息技术的不断发展,互联网中海量的资源,在为网络的使用者提供各种各样的信息的同时,也由于其信息来源与构成的复杂与多样性,使得用户在获取信息的同时,也往往不得不忍
在当今的软件开发行业中,面向对象的开发模式获得了越来越广泛的应用。面向对象软件开发以其优秀的模块化,通过封装和接口达到模块的内部实现与外部接口分离的目的。对象行为