论文部分内容阅读
近年来,随着金融、传感器网络、股票分析、气象监测等领域的不断发展,一种流动的无限的数据引起了数据库界的广泛关注,从而使数据流管理技术成为当前的研究热点。根据数据流的特点及应用对数据流相关技术进行研究不仅拓宽了数据库研究的领域,而且还有重要的学术价值和应用前景。本文对数据流预测聚集查询中的若干关键技术进行了深入的探索和研究。首先,本文简单介绍了数据流的特点、应用以及研究背景和现状;分析了直方图、随机采样等数据流约简技术;对回归模型、指数平滑模型等数据流预测技术进行了阐述;对比分析了数据流管理系统与传统数据库,并对典型数据流原型系统进行了介绍。然后,通过对数据流特点与应用的研究,进而在比较现有各种数据流预测模型的基础之上,一种大量用于语音识别领域的隐马尔可夫模型被引入,设计了一种其于滑动窗口的新预测模型——马尔可夫滑动窗口预测模型。在该模型中提出了一种叫聚集特征压缩直方图的改进的数据流约简技术,并在此基础上得到了一种优化的聚集查询操作。接着,针对传统的数据流预测建模方法如曲线拟合、线性回归分析等只能适应多项式函数,对非线性函数的无效性等问题,基于本文的预测模型设计了相应的处理方法。针对网络流量预测聚集查询处理这一实例,来介绍参数初始化、模型训练、模型评估等数据流预测聚集查询的处理过程。最后,基于上述的预测模型和处理方法,在当前著名开源数据流处理引擎Borealis的基础上,实现了数据流预测聚集查询功能。采用网络流量库中的数据进行实验,通过对多组实验结果对比分析,理论和实验表明,与现有数据流预测聚集查询处理方法相比,上述预测在预测精度和预测效率上都有很大优势。因此,本文的处理方法是对现有数据流预测聚集查询处理技术的有效改进和拓展。