基于MUTO的数据流管理系统研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:daimao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的发展,特别是传感器网络、互联网等技术的广泛应用,数据流出现在越来越多的应用系统中,于是,数据流管理系统的构建、优化等技术得到密切关注。并且,由于应用系统对数据流的处理要求越来越高,使得如何提高数据流管理系统的查询处理效率变得越来越重要。   本文从内存存储模型角度研究提高数据流管理系统查询效率的技术与方法,并对数据流管理系统的设计与实现进行了探索。已有研究表明,硬件技术的发展,使内存中数据的组织方式成为现代数据库系统的主要性能瓶颈之一。目前一些比较成熟的数据流管理系统(如Stanford大学的STREAM),大都沿用传统的多元存储模型(N-ary Storage Model,NSM)在内存中存储数据。实际上,多元存储模型的缓存利用率不高,在处理大量、快速、时变的数据流时,影响查询的响应速度。本文提出一种综合运用页内属性划分策略和存储页首时间与偏移的数据流页面存储模型MUTO(Model Using Time Offset),不仅可以提高缓存利用率,加快查询的响应速度,还可以优化基于时间戳的数据操作。基于MUTO存储模型,本文还设计了查询、插入等相关数据流操作算法。此外,在诸如无线传感器网络、股票交易分析系统等数据流应用中,分布在各处的数据源按周期生成元组,然后加上应用时间戳并将其发送到数据流管理系统,为保证持续查询语义的正确性,查询处理引擎一般按照时间戳增序来处理元组,然而,由于数据源处的时钟不同步、网络延迟、传输频道等因素,数据流元组有时不能按照发送时间戳的增序进行排列,从而产生乱序问题。为了解决这种乱序问题,本文设计一个由多适配器组成的输入管理器(Input Manager),以缓存乱序数据流,并可将乱序数据流调整成增序后发送给查询处理引擎。   本文以连续查询语言CQL为参考模型,设计了支持PAX存储模型(A.Ailamaki提出)和MUTO页面存储模型(本文提出)的连续查询语言MStreamCQL;在STREAM原型系统上,分别实现了基于PAX的数据流管理系统PStream和基于MUTO的带有乱序数据流输入管理器的数据流管理系统原型MStream;并以环境监测为背景,分别对STREAM,PStream和MStream进行测试和比较。实验表明,MStream在一般问题的查询上性能较好,在基于时间戳的查询和计算上,性能优于STREAM和PStream。
其他文献
互联网的出现使到信息的交换和共享变得简单,人们如今可以通过Internet发布自己的作品、重要信息和进行网上贸易,但随之而来的问题也十分严重,例如作品侵权更加容易,盗取及篡改也
颜色量化是计算机彩色图像处理的关键技术之一,即在尽可能完美地再现原始图像色彩效果的前提下,减少图像中的冗余信息,从而减少图像数据对存储空间和信道容量的要求。颜色量化算
2007年,我国在南海神狐海域成功钻获天然气水合物实物样品,这为研究天然气水合物提供了理想的场所。但是随着天然气水合物勘探技术的发展,水合物数据日益增长,数据量大、数据
学位
多词表达是一个影响着自然语言处理领域中许多其他应用问题的“基础问题”,它是一种由若干词汇组成的语义单元,但其句法与语义属性并不能显式地由其构成词汇给出。自动识别和应
多媒体技术和计算机互联网的飞速发展使得人们可以更好地享受各类视频信息,如:有线电视、交互式网络电视、视频监控、视频电话等。为了节约这些视频信息的存储空间及网络传输带
学位
在信息检索系统中由于查询过短和存在歧义等原因,单纯依靠用户自己构造查询往往不能准确地表达搜索意图,导致搜索效果不佳,查询推荐是解决这一问题的关键技术之一。查询推荐技术
党中央、国务院历来高度重视安全生产工作,安全生产不仅关系人民群众的生命财产安全,还关系着改革、发展和稳定的大局。目前,我国经济和社会发展水平决定了我国在一段相当长的时
工业产品的快速开发要求采用“V”字形开发。作为“V”字形开发不可或缺的重要组成部分,快速控制原型能大大缩短产品的开发周期。在线调参是快速控制原型开发的关键技术。在线
当前,蛋白质序列数据库以很快的速度增长,而蛋白质结构测定的实验技术却很慢,因此使用计算方法来预测蛋白质结构成为缩小序列测定和结构测定之间速度鸿沟的重要方法。蛋白质结构
随着网络技术的发展,电子商务渗透到贸易活动的各个阶段包括信息交换、售前售后服务、电子支付、运输等等。电子商务协议就是为了完成电子商务活动而设计的协议。作为一类特殊
学位