大数据处理中的扩展Skyline查询技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:lhz19700717
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Skyline查询是数据库领域中的一项关键应用,可用于多标准优化决策应用、推荐系统、地理信息系统和大数据处理等应用当中。传统的Skyline单点问题在近几年已经被广泛研究。大量的研究工作关注于Skyline的高效计算及其一些衍生问题。这些工作都是假设属性值之间的偏好关系是确定的,不确定性只体现在数据上。因此,这些工作不能应用于分析基于不确定偏好关系的查询当中。此外,上述工作只是分析Skyline单点问题,因此上述工作不足以回答需要研究一组点而不是单点的查询。上述两个问题严重制约了Skyline查询的应用范围。在大数据环境下,查询是在各种各样的情况下发生的,扩展Skyline查询使其能够满足不同用户的需求具有非常大的研究意义。为了增强大数据时代中Skyline查询的应用范围,我们从两个方面扩展Skyline查询。(1)从确定偏好查询扩展到不确定偏好查询,(2)从单点Skyline查询扩展到Skyline团组查询。本文的主要贡献包括:1.基于不确定偏好关系的Skyline查询:本文研究了基于不确定偏好关系的Skyline查询的并行计算问题。目前的研究工作存在重大理论缺陷,所以目前研究工作中所提出的算法的正确性不能得到证明。我们首先分析现阶段的研究工作,并给出了一个详尽的理论分析,这个理论分析为基于不确定偏好的Skyline查询奠定了理论基础。基于不确定偏好的Skyline概率是通过容斥原理计算的,因此,计算量非常大的,尤其是在计算大数据集的Skyline的时候。我们提出了一个新颖的并行算法来计算给定元组的Skyline概率。并且,我们提出了添加和删除算法来处理动态环境中新元组加入和过期元组删除的情况。除此之外,我们还扩展了所提出的并行算法,使得我们的算法从每次计算一个给定元组的Skyline概率到一次计算数据集中所有元组的概率。实验结果表明我们的并行算法在使用16条并行进程情况下能够比当前的串行算法快10倍以上。2.Skyline团组的并行查询:本文研究了Skyline团组查询的并行计算问题。与传统的Skyline单点相比较,计算Skyline团组更加复杂而且计算量也更大。这种计算上的挑战促使我们设计出一种并行算法来计算Skyline团组。我们为并行算法设计了一个能够高效更新的数据结构,并且使用这个数据结构存储全局共享的Skyline层次。通过使用这个数据结构,我们能够最小化支配测试并且能够保持高吞吐量。基于这个数据结构我们并行计算数据集上的Skyline层次。基于Skyline层次的结果,我们设计了一个高效的并行算法计算Skyline团组。实验结果表明,我们的并行算法在使用16条线程并行的时候能够比当前的串行算法快10倍以上。3.基于Skyline团组的top-k支配查询:本文研究了基于Skyline团组的top-k支配查询。我们发现Skyline团组的输出可能是非常大的,这对于Skyline团组的应用范围来说是一个潜在的限制。我们系统地开展了一个针对Skyline团组的top-k查询研究,并且提出了一套高效的查询算法用来查询Skyline团组中的top-k团组。除此之外,我们还设计一个基于位图索引的算法来计算每个Skyline团组的分数,同时我们使用位图压缩技术来最小化位图索引的空间开销。实验结果表明我们的top-k算法比暴力算法快1-2个数量级。
其他文献
本文作者对沼气、沼液、沼渣的有效成分及功能进行了分析,并根据其各自相关特点总结了在蔬菜生产上的多方面应用及存在的问题,以供蔬菜生产者参考。
1949年国民党当局败退台湾后,屡屡派遣飞机窜犯大陆,并令其驻金门的部队炮击福建沿海村镇,严重威胁东南沿海重要城镇的安全和社会主义建设.1958年7月中旬,台湾当局又趁美国
应中华人民共和国主席习近平邀请,法兰西共和国总统埃马纽埃尔·马克龙于2019年11月4日至6日对中国进行国事访问。两国建交55年后,两国元首一致同意,在2018年1月9日和2019年3月2
报纸
品德课堂的即时情感是一种有效的教学资源,是儿童品德形成的源动力。本文直面现今课堂上学生即时情感得不到有效利用,实效性偏低的现象,直观、恰当解读了即时情感的概念及其
介绍了欧盟新杀生剂法规实施后,杀生剂的产品分类,涵盖了4组22类产品和批准登记的杀生剂活性成分名单,同时与农药法规进行了比较.
众筹融资怍为最近几年来一种互联网新兴融资方式,其风险主要来源于参与众筹的小做企业、公众投资者和融资平台。本文从三个下同的角定分析了众等融资的备类风险。包括融资决策
随着2050年全面建设小康社会的不断实施,互联网信息科技的不断发展,媒介融合的特点也越来越明显,如何在媒介融合背景下进行科技扶贫是目前所需要考虑的重点问题。就现在而言,
一位西方哲学家无意间在古罗马城的废墟里发现一尊“双面神”神像。这位哲学家虽然学贯古今,却对这尊神像很陌生,于是问神像:“请问尊神,你为什么一个头,两副面孔呢?” 双面
期刊
1.前言 自上世纪七十年代,基于模型预测控制为主的先进过程控制技术不断得到提高和完善。经过近四十年的发展和应用,应用范围也在不断拓宽,从线性时不变系统,逐渐发展到非线性、时
红木家具以其独特的优势与艺术魅力成为中国文化的传播者,不断地向世界展示着中国数千年的历史与文化底蕴。在产业结构转型升级的大背景下,面临红木原材料日益稀缺、全球贸易