论文部分内容阅读
传统的数据库管理系统用于处理永久的数据和进行瞬时的查询。然而,随着网络、电信和传感器技术的发展,出现了一种新的数据处理模型。在这种模型中,出现了一种瞬时流数据上的连续长时间的查询。传统数据库存储的是相对静态的记录集,不是为快速和连续输入的单个数据项设计的,而且它不能直接支持连续查询。传统数据库管理系统在数据流应用方面的限制,引起了国内外很多学者和研究机构的注意。在当今的网络监控、电信数据管理、传感器数据监控等应用中,数据采取的是多维的、连续的、快速的、随时间变化的数据流的形式,对数据的访问也是多次和连续的,并要求即时的响应。研究表明传统的关系数据库系统难于适应这种流式应用的数据管理需求,因此如何有效地开发一种新型的数据库系统来满足这种新的数据处理要求已成为目前研究的一个热点课题。本文的工作就是按照研究课题的要求,针对现实网络速率不稳定这一问题,对数据流管理系统中输入监控、概要构建和负载平衡控制等三个功能模块的算法进行了改善,分别对各自现有的常用算法进行了一些改进,设计了可以根据网速进行自适应变化的直方图算法、分层更新的近似树和基于内存的负载平衡控制方法,使得各功能模块对实际网络可以有一定的适应能力,特别是在网速突然增大的情况下,可以有一个快速、及时的处理反应。最后,再将这些改进应用到一个通用的数据流管理系统PowerStream中,使得其对于现实环境中,网速不稳定情况下的数据流有了更好地管理支持。该系统是参考了国外几个典型的数据流管理系统,按照实际课题的要求进行设计的。经过改进的PowerStream区别于其他DSMS的特点主要包括:对现实中网速不稳定的问题有着较好的自适应能力;支持对网速突变的数据流的操作;具有简便的基于内存资源的负载平衡控制策略。