论文部分内容阅读
深海平台监测系统还有Internet上的流量监控等许多实际应用领域都需要对流数据进行处理和分析。流数据以流的形式到达,是连续、无界和随时间变化的。传统的数据库处理技术不支持流数据的查询与管理,通用的数据流管理系统能够处理随时间变化的连续数据、生成概要数据和支持连续查询,但是,它们仅仅完成了原型系统,还没有形成统一的标准,不能应用到实际的商业系统中。本课题基于深海平台监测系统,研究传感器网络环境下的流数据处理技术,包括概要数据生成技术和流数据的管理与分析技术。论文重点研究概要数据的生成算法,特别对抽样方法做了详细的归纳,并给出了一种基于时间滑动窗口的自适应加权随机抽样算法:AWRS/BTSW算法。该算法根据流数据变化的快慢程度,动态的对流数据加权,将权值和数据到达时间作为数据项的键值,根据键值大小对流数据进行抽样,解决了现有的抽样算法生成的概要数据与原始数据偏离大小不确定以及数据过期问题。与其他抽样算法相比,该算法在数据变化稳定的情况下,能快速地生成概要数据,当监测到数据变化剧烈时,动态改变抽样方式,抽取的概要数据精确性比较高。论文分析与总结了国内外数据流管理系统的研究现状,根据深海平台监测系统对数据处理的要求,设计与实现了基于概要的数据流管理系统BSDsms,并将AWRS/BTSW算法应用到该数据流管理系统中。扩展了现有的流式查询语言CQL,形成了ECQL查询语言,使得该查询语言不仅能支持流数据的连续查询,而且支持对历史数据的查询。实现的BSDsms数据流管理系统可以为深海平台监测系统提供基本的数据服务。本研究成果既解决了深海平台监测应用中的流数据处理问题,又可以应用于任何传感器网络中的流数据管理,为流数据挖掘和分析提供基本的数据服务平台。