一种数据流突变点快速探测算法的研究与实现

来源 :东华大学 | 被引量 : 8次 | 上传用户:resident_2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据已经成为与自然资源、人力资源一样重要的战略资源,数据中隐藏着巨大的价值。大数据具有体量浩大、模态繁多、生成快速和价值巨大等特点。数据流中的时序数据分析是大数据研究的重要分支。数据流分析技术就是从各种类型繁多的数据中快速获得有价值的信息。数据流及其应用的迅速发展不仅促进基础科学的发展,更是许多行业技术进步、国家创新和产业发展的重要机遇和挑战。数据流的突变指的是当前时刻数据流的值相比于之前的数据流的值或者是数据流的平均值差值比较大。目前的数据流中突变点检测的分析方法大多很耗时,且对两端的突变点检测不准确等问题。本文引入了HWKS算法,该方法能够快速的检测到数据中的突变点,并做了对比验证。在该算法的基础上,引入了滑动窗口,以实现数据的在线检测,并通过模拟的数据验证了该方法的有效性。此外,通过实际火灾发生时的温度、烟雾浓度、CO和CO2数据验证了该方法能够及时的检测到火灾的发生。HWKS算法是在Haar小波变换理论和改进的KS统计检验理论的基础上提出的。HWKS算法主要针对的是数据流中的时序模型数据,该算法的主要步骤是先应用多级Haar小波变换分解待检测的数据流,同时构建均值二叉树和差值二叉树。然后,在改进的KS统计的基础上,构建两种突变点检测的两个搜索规则,规则一是基于差值二叉搜索树,规则二是基于均值二叉搜索树,当规则一搜索不到突变点时,则采用规则二进行搜索,所以这两种规则是相互补充。最后,根据此规则进行突变点的检测。该算法采用自顶向下的搜索策略,并且以折半的思想进行查找,大大提高了检测的效率。本文通过仿真数据,将HWKS算法与KS检验、Haar小波和t检验三种方法从耗时、命中率、误差以及准确度四个方面进行了比较,验证了HWKS算法在算法效率、准确性和敏感性方面有明显的优势。为了应对数据流实时的特性,本文在HWKS算法的基础上,引入滑动窗口模型。通过仿真分析,探讨数据流的大小不变,滑动窗口尺寸的改变的情况下对数据流上突变点检测的影响。实验结果表明,滑动窗口越大检测到的突变点的位置越准确,但是滑动窗口也不是越大越好,还应考虑数据流的流速问题和数据流中有多个突变点的情况,为了验证HWKS算法对数据流中两端突变点的敏感性,本次仿真将突变点设置在数据流的起始位置和结束位置。实验结果表明,引入滑动窗口模型后,HWKS算法不仅对于数据边缘的突变点的检测仍然有很好的效果,同时也能够准确的探测出数据流中的所有的突变的。最后,本文通过模拟真实的火灾发生时的温度数据、烟雾浓度数据、CO浓度数据和CO2浓度数据,运用带滑动窗口的HWKS算法和不带滑动窗口的HWKS算法进行了对比试验。实验结果表明引入滑动窗口后的HWKS算法不仅能够检测到火灾发生时的特征变化,同时也能检测出火灾后,这些特征的变化。此外,对于加入滑动窗口模型的HWKS算法比没有引入滑动窗口的HWKS算法要准确,所以该算法对火灾的探测有很好实际意义。
其他文献
泥岩主要由粘土矿物和长石、石英等其他矿物组成。而粘土矿物中包含了大量亲水性极强的细微颗粒,这些细微的粘土颗粒,极易受到水、压力和温度等外界因素的影响,改变泥岩自身
“一带一路”倡议推动了中国境外产业园区的蓬勃发展。在园区数量不断增加、园区建设不断推进、入园企业不断增多的背景下,对境外产业园区规划实施进行评估,不仅是了解境外产
知识付费崛起,中国互联网知识经济兴起并迅猛发展,各类互联网知识平台呈现出井喷的发展态势,在不断地竞争中找到各自差异化路线。其中,音频类移动互联网知识平台凭借自身独特
一般观测成果的衡量指标为观测精度和观测数据的可靠性,当观测数据中只含有偶然误差时,利用最小二乘平差方法进行平差处理,得到平差结果的最优解,但如果个别观测数据受到粗差
国际投资作为重要跨国经济活动,在经济全球化的今天对世界经济格局的贡献是不容忽视的。但是也带来了一系列叩待解决的问题,如公共健康保护理念的贯彻实施和投资者权益保护的
随着信息技术的大力发展,在大数据与人工智能发展的当下,大唐移动通信设备有限公司重新构建网络管理服务系统。针对于以往存在的问题,结合新的技术,将人工智能与网络管理告警系统结合,搭建了智能网管告警系统。本文对目前国内外网络管理告警系统进行了详细的研究,并尝试将人工智能算法与网络管理告警系统进行结合,搭建智能网管告警系统。在网络管理告警系统中,至关重要的一点是对于告警情况的评估,即通过对比告警阈值与接通
【摘要】鉴于新课程改革实际,迫切需要提高课堂自主学习效率。所谓自主学习是指学习者利用智力与非智力因素(意识、态度、意志、策略等)管理自己学习的能力,包括设立目标、自我指导和自我评价。在高中英语教学中,培养学生的自主学习能力是提高学生英语知识运用能力,发挥其学习主体地位的有效途径。  【关键词】教学 自主学习 能力 意识 途径  【中图分类号】G633.41【文献标识码】A 【文章编号】2095-3