数据流管理系统及其相关算法的研究与实现

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:liuzengyong1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的数据库管理系统用于处理永久的数据和进行瞬时的查询。然而,随着网络、电信和传感器技术的发展,出现了一种新的数据处理模型。在这种模型中,出现了一种瞬时流数据上的连续长时间的查询。传统数据库存储的是相对静态的记录集,不是为快速和连续输入的单个数据项设计的,而且它不能直接支持连续查询。传统数据库管理系统在数据流应用方面的限制,引起了国内外很多学者和研究机构的注意。在当今的网络监控、电信数据管理、传感器数据监控等应用中,数据采取的是多维的、连续的、快速的、随时间变化的数据流的形式,对数据的访问也是多次和连续的,并要求即时的响应。研究表明传统的关系数据库系统难于适应这种流式应用的数据管理需求,因此如何有效地开发一种新型的数据库系统来满足这种新的数据处理要求已成为目前研究的一个热点课题。本文的工作就是按照研究课题的要求,针对现实网络速率不稳定这一问题,对数据流管理系统中输入监控、概要构建和负载平衡控制等三个功能模块的算法进行了改善,分别对各自现有的常用算法进行了一些改进,设计了可以根据网速进行自适应变化的直方图算法、分层更新的近似树和基于内存的负载平衡控制方法,使得各功能模块对实际网络可以有一定的适应能力,特别是在网速突然增大的情况下,可以有一个快速、及时的处理反应。最后,再将这些改进应用到一个通用的数据流管理系统PowerStream中,使得其对于现实环境中,网速不稳定情况下的数据流有了更好地管理支持。该系统是参考了国外几个典型的数据流管理系统,按照实际课题的要求进行设计的。经过改进的PowerStream区别于其他DSMS的特点主要包括:对现实中网速不稳定的问题有着较好的自适应能力;支持对网速突变的数据流的操作;具有简便的基于内存资源的负载平衡控制策略。
其他文献
世界各国信息化军事革新需要高科技新式装备,相应的也就需要大量的指挥控制系统和大规模应用软件。应用于现代高科技装备软件的功能越来越复杂、软件规模也越来越庞大,军队应
传统的Web服务技术(SOAP、WSDL和UDDI等)缺乏机器可理解的语义,限制了Web服务的自动化。如何将Web服务内容(包括服务的用途、功能以及如何访问)表示为机器可处理的形式,即带有
新航行系统(CNS/ATM)是利用高新技术适应未来空中交通管制需要的一种新的系统,其中一个非常重要的部分就是支持多种空中广播服务(如S模式的应答机、交通信息服务广播、飞行情
汽轮机的安全和优化运行一直都是电厂最为关注的问题,随着电厂DCS系统数据的大量积累,利用传统的分析手段无法对海量数据进行有效的分析,无法展现数据的趋势变化。不能深层次地
由于数字媒体技术的推进,计算机三维图形学技术得到了长足的发展,它是现代计算机科学中最为活跃的领域之一。三维图形学被广泛应用于网络游戏,虚拟现实,军事训练等很多方面。
在数据大爆炸的今天,存储系统面临着对文件系统性能和存储设备性能的严峻挑战,新型存储器件的飞速发展,给缓解存储系统的性能瓶颈带来了曙光。本文针对基于闪存的存储系统面
随着目前我国政府对电信运营行业的进一步放开和政策约束的一系列调整,我国电信行业中企业间的市场竞争日趋激烈。同时,广大用户对电信服务质量的要求也越来越高。面对国内电
本文是以当前流行的32位ARM7处理器加FPGA为核心控制部件的硬件平台为基础,来展开对数控系统中译码模块研究的。由于嵌入式系统硬件资源的有限性,本论文以解释方式为主全面的
随着信息安全及嵌入式技术的发展,一种跨平台式的、可定制、可进行统一化管理的、支持嵌入式Linux的安全网关必不可少。本文就是在这种背景下提出了一种跨平台的融合多种安全
等距是CAD/CAM中的一个重要操作,在数控加工、机器人技术、实体造型等领域有广泛的应用。虽然单一曲线/曲面等距技术已被广泛研究并取得了丰硕成果,但组合曲面及其上曲线等距方法