实时数据流相似性查询算法的研究

来源 :华北电力大学 | 被引量 : 0次 | 上传用户:jimchenstong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据处理领域研究的不断深入和研究内容的不断发展,研究者们逐步发现数据需要以流的形式处理。这些数据传输速度快、规模大、传输持续时间长,并且只能被有限的读取几次。对于无限的数据流而言,系统的有限内存只能得到一定精度的相似解。传统的数据查询算法利用关系模型,将数据在数据库中存储后再进行相关处理,不再适合用于不是永久关系形式的数据流。因此,如何实现对数据流的高实时性、高相似性的快速查询变得越来越重要。本文主要基于Haar小波分析方法预处理数据,结合滑动窗口算法和贪心算法的优点,综合实现数据流相似性查询。首先,本文介绍分析了Haar的相关理论,在数据总体误差可接受的约束前提下,利用抽样将数据流的数据总量降低,完成数据的预处理,仿真实验表明总体误差可以稳定在98%左右时,利用本文数据预处理算法可以将数据总量压缩7~11倍,验证了此种数据预处理的有效性。其次,为了解决数据滑动窗口过长造成数据等待时间过长和滑动窗口过短造成整体处理时间过长的之间的矛盾,本文对基本滑动窗口的滑动步长做了限制。通过仿真实验结果显示,改进算法可优化滑动窗口大小。再次,本文利用经Haar小波处理、抽样处理和滑动窗口处理的数据,构造平衡二叉树,结合贪心算法查找数据,数字仿真结果显示改善了数据查询的时间复杂度与空间复杂度。最后,本文将数据流相似性查询算法实际应用于小电流接地故障区段定位系统中,实现了数据的快速传输、故障区段的快速定位、系统的稳定运行。
其他文献
工作流是业务流程的计算机化或自动化。工作流管理系统是一个软件系统,它完成工作流的定义和管理,并按照在系统中预先定义好的工作流逻辑进行工作流实例的执行。工作流技术要
随着智能电网建设的不断推进,电力行业不可避免地进入了“大数据时代”,其对于大数据处理的需求,也已大大超越其它基础能源行业。为了提供电网运行的全景实时信息,尤其是在极限天气下,输变电设备监测的数据量将剧增,输变电设备井喷式报警数据的快速接收和分析就能为了必须解决的问题。输变电设备监测云平台在恶劣天气情况下需要及时响应高并发的井喷式报警,对电网中越限报警的数据进行快速诊断,以便及时进行故障排除,避免事
目前,微电网运行控制相关问题已经成为微电网研究热点,本文的主要研究内容是围绕云计算方式在多微网协同运行控制中的应用进行的。  本文首先概述了微电网的基本概念,以及国内
随着互联网和多媒体技术的迅速发展,人们可以访问到的多媒体数据急剧增长,视频作为多媒体信息中最复杂一种媒体形式,凭借其多样化的表现形式、丰富的语义内容,以及便捷的记录
SMS(Short Message Service)作为移动通讯的重要增值业务得到了迅速发展与应用。短消息以其简洁、方便、经济、操作简单、网络覆盖面广等众多优势,已成为人们日常生活及企业
任务分配问题是一类典型的组合优化问题。多处理器系统上的最优任务分配的研究是有效利用系统资源处理实际问题的热点课题,这方面的研究结果在大规模数值计算、VLSI和计算机
柴油发电机组作为常用和备用电源,尤其是在电动钻机等领域凸现其重要的作用与价值。其自动控制却涉及机械、传感器技术、信号处理技术、计算机控制技术和控制理论等科学领域。
随着我国的改革开放的深入,国内电信市场竞争日益剧烈,虽然电信运营企业在各个业务领域内已初步形成多元化的竞争局面,同时,国外的电信公司也即将会进入中国市场。而怎样面对电信
纸张计数是工业生产中很常见的操作。传统的纸张计数是由专门的计数装置来完成,其成本高、体积大、易于产生错误的缺点很明显,迫切需要改进。本论文从纹理图像分析的角度来进
当前信息技术的发展和应用趋势呈现出两个主要特征:一方面,系统功能性的不断增强使得计算环境正在变得日趋复杂;另一方面,无处不在的计算使得今天的用户日趋大众化。今天企事