分布式环境下skyline查询处理技术研究

来源 :湖南大学 | 被引量 : 1次 | 上传用户:lh305879918
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Skyline查询处理是数据库技术领域的一个研究重点和热点,它在多目标决策、数据挖掘和可视化、用户偏好查询等方面有着广阔的应用。Skyline查询输出数据集中不被其它任意数据点所支配的点所组成的集合,使得用户可以在小规模的skyline结果集上选择自己感兴趣的对象,而不必关心那些被过滤掉的对象。随着分布式网络系统的深入应用和云计算的发展,分布式的skyline查询计算近年来受到广泛关注。由于全局知识的缺乏和不同分布式环境的特殊要求,分布式的skyline查询面临着巨大的挑战。本文针对分布式环境下的skyline计算及其相关问题进行了深入的分析研究。本文的主要工作和创新点如下:  (1)研究了无线传感器网络中的连续skyline查询问题,提出了一种基于预测技术和数据映射的skyline查询算法。Sink收集所有节点的预测误差,用以预测值为中心、两倍预测误差为边长的超正方体来表示节点的真实感应数据值,然后基于超正方体之间的支配关系进行节点剪枝。节点上传真实感应值,当且仅当节点收到sink发出的“上传”消息。为了最大化预测获益,提出了一种分段线性预测技术,根据查询结果自适应地更新预测模型参数值。实验结果表明,该算法可以有效地减少传感器网络中执行连续skyline查询时的通信代价。  (2)研究了传感器网络中反相关或簇状分布数据集下的过滤器设计问题,提出了基于数据簇表示模式的针对性数据过滤算法。现有过滤器算法普遍通过从数据集中选择支配能力最强的数据点(或者相关数据值)作为过滤器,存在过滤效果受限于数据分布的问题。本算法为不同的节点设计不同的过滤器,来适应不同的数据分布。为了降低过滤器计算代价和最大化过滤获益,设计了一种新颖的数据簇表示模式和一种基于历史查询结果的抽样技术。实验结果表明,该算法在正确返回查询结果的同时,减少了无线传感器网络中的过滤器计算代价和总的查询通信能耗。  (3)研究了无线传感器网络中的连续反skyline查询问题,将前面提出的连续skyline查询算法思想应用到反skyline计算中。不同于skyline计算,反skyline查询算子是不可分解的,即不能随意删除非结果数据,否则容易导致误报。为此,提出了扩展半支配和扩展全支配的概念,用来基于数据映射知识对产生反skyline数据集的节点、不产生结果集的节点和能立即删除的节点进行识别。对这些节点进行分阶段探测,以减少需要上传真实感应数据的节点数目。实验结果表明,算法能输出正确的结果集,且具有较好的能量有效性。  (4)探讨了客户端/服务器模型下的skyline查询问题,提出了基于数据划分技术的分布式skyline算法。该算法将每个服务器上的数据按照其和其它服务器数据的依赖关系划分成若干数据区域,使得不相互依赖的数据域能够并行地执行查询。这些不相互依赖的数据区域可以来自不同的服务器,也可以来自相同的服务器。同时,基于数据区域之间的依赖关系,制定查询计划,既有利于选择过滤效力强的数据作为过滤器,又使得算法能够渐进性地输出查询结果。并行式的查询和过滤器技术有效地缩短了查询时间。理论上证明了查询计划的最大跳数存在上界。
其他文献
小肠作为人体最长的消化道器官,位于人的腹腔内部,其检查和诊断都很困难。良好的小肠检查方法能积极的辅助医生进行诊断和治疗小肠疾病,同时也能减轻医生负担、减少病人的痛
随着大规模数据存储技术、信息技术和网络技术的发展,人们正陷入数据泛滥、知识贫乏的境地。为满足日益增长的信息需求,聚类分析作为一种主要的数据挖掘技术已经应用到各种领
在图像处理技术中,细胞图像的分割与提取技术是的最为关键技术,,如何使得分割的效果精确也是人们一直以来研究的重点。由于图像之间存在差异性,它们有各自的特点,在实际的应
随着国民经济的迅速发展,我国汽车的数量迅速增加,致使公路交通的负担越来越重。智能交通系统(Intelligent Transportation System, ITS)可以科学、高效地利用好现有交通基础
随着计算机性能的大幅度提高,人们对计算机的要求也不断扩大。计算机获得外部信息主要依靠计算机视觉,运动目标的检测与跟踪是计算机视觉中最热门的研究课题之一。只有先将背景
结合我国统一坚强的智能电网建设需求,为应对电力信息化建设可能出现的海量数据,寻找行之有效的并行且弹性的数据处理技术是解决该问题的关键所在。MapReduce是由Google提出的基于大规模集群的分布式计算框架。Hadoop是Apache开源基金会开发的分布式系统的基础架构,包含MapReduce和HDFS。其良好的扩展性能和简单易用的操作特点,使之成为云计算的主流平台。本文进行基于MapReduc
嵌入式系统的三个基本特征:资源紧凑有限、时间约束严格、成本极度敏感,并且嵌入式软件本身由于需要处理大量中断,许多嵌入式软件性能指标(系统吞吐量、任务处理能力、堆栈深
近年来,随着我国经济的迅猛发展,企业信息化进程不断推进,作为我国经济建设基石的中小企业的信息化建设越来越引起业界的重视。然而,由于中小企业普遍存在着经济实力弱、个性
人脸识别就是利用计算机技术,通过对人脸图像的分析,提取我们所需要的一些特征信息,用来做身份识别或者目标追踪。它主要有三个步骤:人脸检测、特征提取和人脸识别。人脸识别
目前,关于计算机网络系统特性的研究已经成为一个热点,其中对于竞争特性的研究尤其引人关注。关于星形网的运行机理早已介绍。竞争—冲突淘汰(C-CC)存取方式,作为星型局域网