基于滑动窗口的数据流预测聚集查询处理的研究

来源 :中南大学 | 被引量 : 0次 | 上传用户:pau998
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着金融、传感器网络、股票分析、气象监测等领域的不断发展,一种流动的无限的数据引起了数据库界的广泛关注,从而使数据流管理技术成为当前的研究热点。根据数据流的特点及应用对数据流相关技术进行研究不仅拓宽了数据库研究的领域,而且还有重要的学术价值和应用前景。本文对数据流预测聚集查询中的若干关键技术进行了深入的探索和研究。首先,本文简单介绍了数据流的特点、应用以及研究背景和现状;分析了直方图、随机采样等数据流约简技术;对回归模型、指数平滑模型等数据流预测技术进行了阐述;对比分析了数据流管理系统与传统数据库,并对典型数据流原型系统进行了介绍。然后,通过对数据流特点与应用的研究,进而在比较现有各种数据流预测模型的基础之上,一种大量用于语音识别领域的隐马尔可夫模型被引入,设计了一种其于滑动窗口的新预测模型——马尔可夫滑动窗口预测模型。在该模型中提出了一种叫聚集特征压缩直方图的改进的数据流约简技术,并在此基础上得到了一种优化的聚集查询操作。接着,针对传统的数据流预测建模方法如曲线拟合、线性回归分析等只能适应多项式函数,对非线性函数的无效性等问题,基于本文的预测模型设计了相应的处理方法。针对网络流量预测聚集查询处理这一实例,来介绍参数初始化、模型训练、模型评估等数据流预测聚集查询的处理过程。最后,基于上述的预测模型和处理方法,在当前著名开源数据流处理引擎Borealis的基础上,实现了数据流预测聚集查询功能。采用网络流量库中的数据进行实验,通过对多组实验结果对比分析,理论和实验表明,与现有数据流预测聚集查询处理方法相比,上述预测在预测精度和预测效率上都有很大优势。因此,本文的处理方法是对现有数据流预测聚集查询处理技术的有效改进和拓展。
其他文献
学位
随着大数据时代的到来,面向大数据的存储系统纷纷出现。不断增长的数据量,使得集中式元数据管理系统的负担越来越重,逐渐成为大数据存储的瓶颈。为此,人们提出了多种分布式元
图形处理器(Graphic Processing Unit,GPU)是显卡最重要的组成部分。GPU的出现有效降低显卡对CPU的依赖,同时有效提高了图形处理,尤其是矩阵变换较多的三维图形的处理能力。
大数据时代,互联网每天都会产生大量的数据,利用数据挖掘算法可以从中分析出有价值的数据。在聚类分析方法中,K-means聚类算法是应用最广泛的一种划分方法。该算法简单,且收
单核苷酸多态性(SingleNucleotidePolymorphism)是指在基因组水平上由单个核苷酸的变异引起的一种DNA序列多态性,它改变了基因原来的结构和连锁率,增加了个体的患病率。目前已有
移动对象是指空间位置或范围随着时间的变化而发生变化的事物。基于交通路网的移动对象索引技术广泛应用于城市交通中车辆与行人的位置记录、运动轨迹查询、时空查询、统计管
大规模地形场景真实感建模与绘制是虚拟战场、地理信息系统、三维游戏仿真等领域的基础。随着应用的不断扩展和深入,人们对地形场景的规模、绘制速度及仿真精度提出越来越高的
当前数据存储规模日益增长,单个存储设备和存储系统的容量及寿命有限,因此需要经常在不同存储设备和存储系统之间批量迁移文件数据集。不幸的是,现有方法通过单个文件串行拷贝的
随着计算机技术的普及和发展,计算机广泛应用于一些关系到国民经济和国家安全的关键领域,如金融、电信、银行、能源、军事等,对于应用于这些关键行业的计算机系统要求具有极
随着全球一体化的不断发展,学术研究不能闭门造车,需要与国外的学术界互相交流。但作为非英语为母语的英文学术论文写作者,经常会遇到一个英文句子该怎样表达才能让国外同行