基于滑动窗口的分布式流数据查询及其应用

来源 :浙江大学 | 被引量 : 0次 | 上传用户:lg97060329
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的发展,流数据应用越来越普遍。传感器网络中存在很多分布式流数据。流数据应用场景对实时处理分析有更高的要求,需要研究高效可扩展的流连接模型。由于分布式流数据延迟,在流数据的时间戳中存在乱序数据,需要在满足查询质量要求时尽可能做到等待时间最小化,更好的平衡准确率和等待时间。本文主要研究内容如下:  一、研究了现有的流数据处理系统和方法,提出了一种基于缓存的自适应乱序处理方法,ABQ-slack。它支持在乱序流数据上做质量驱动的滑动窗口聚合查询,ABQ-slack在不超过允许的错误率阈值条件下,查询时动态的调整输入缓存大小来最小化等待时间。  二、研究了分布式流连接处理,提出一个流连接模型,称为多分连接。基于多分连接,设计可扩展的分布式流连接——多流,并详细讨论了基于滑动窗口的连接。  三、详细介绍了敦煌莫高窟流数据,使用模拟数据和敦煌莫高窟环境监测数据对ABQ-Slack和多流进行了实验研究。在多个场景中验证了期望结果和准确率之间的权衡的有效性,本文从效率、可扩展性等多个方面进行了分析和验证,并在单机上进行模拟了集群实验。
其他文献
现代物流的日益增长对集装箱码头的货物周转速度提出了更高的要求。为此,必须提高装卸集装箱岸吊的运行速度,以达到提高码头货物周转效率的目的。迄今已经出现了很多集装箱卡车
本课题研究的内容是IP-PBX中ENUM支持机制的设计与实现,目的是实现IP-PBX间的安全高效互通。近年来,随着企业通信的迅猛发展,作为企业通信门户的IP-PBX,尤其是嵌入式IP-PBX以
随着网络技术发展和网络应用的日益多样化,传统互联网体系结构中网络控制灵活性不足、网络资源利用率低等刚性技术弱点逐渐凸显,为此迫切需要找到一种能使网络需求与资源有机适
近年来,机器学习技术在人脸识别、物体检测、步态识别等各类模式识别问题上得到了广泛且卓有成效的应用。由于现实世界的复杂性,机器学习模型需要从极其凌乱的数据中挖掘出感兴
As the whole world is going informatized, all the industries are struggling to gettheir business automated by means of computers for small to medium business an
纹理合成技术是计算机图形学的一个主要研究方向,因为其实用、简便的特性使得它在许多领域有着重要的作用,尤其近几年来,随着CG产业和在线游戏的快速发展,对于高效及高质量的纹理
计算机动画一直是计算机图形学领域的一个研究热点,影视特效的发展以及电子游戏的强力需求进一步推动了这一方向的研究。然而,真实世界蕴涵着复杂的运动规律,而计算机图形学领域
多媒体数据的有效表达是实现其语义理解和分类识别等应用一个基础性难点问题。多媒体数据的张量表达能有效避免传统基于向量或矩阵等形式的表达方法在高维多媒体数据上产生的
随着宽带互联网的迅速发展,网络规模在不断扩大,网络结构日渐复杂,网络业务日趋丰富,网络流量高速增长。电信运营商及企业网管理人员需要借助可靠、有效的网络业务流量监测系统对
学位
以九十年代的工作流技术为起点,业务流程管理技术发展到现在已经得到了普遍的应用,市面上也出现了很多优秀和成熟的业务流程管理的产品。但是这些业务流程产品往往重视工作流自