MapReduce框架下的查询结果复用

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:mahuanchun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量数据分析通常在MapReduce框架下执行查询,由于MapReduce框架本身的冗余性,Map阶段与Reduce阶段的输出结果需要多次与HDFS进行I/O交互,造成I/O开销;由于查询之间的重叠性,同一个查询有很大几率被重复执行,造成CPU开销。复用已有查询的结果可以消除部分重复执行的开销,提高查询的执行效率。复用查询的结果需要对其进行存储和匹配。为了实现最先匹配成功的结果即为最佳结果,需要根据查询自身特性与查询之间的共性对查询结果进行存储管理,复用结果,需要把待执行的查询与查询结果库进行匹配,这些操作都会造成额外的系统开销。根据实验分析,以上额外的系统开销占查询整体消耗的30%。本文通过降低上述系统开销来提升查询在MapReduce框架下的执行性能。为了降低查询结果存储管理开销,本文提出森林结构的MapReduce作业存储管理技术,利用森林结构的特性,在保证匹配结果准确性的前提下,减少匹配次数,从而减少系统开销。为了降低匹配操作带来的系统开销,本文提出与森林存储库相适应的匹配算法,待执行查询先与根结点进行匹配,随后根据匹配结果判断是否需要继续与其子结点进行匹配,达到减少匹配次数的目的。匹配算法通过借用Boyer-Moore算法中的坏字符规则(bad-character shift)与好后缀规则(good-suffix shift)将匹配效率达到最优。在上述解决方案的基础上,为了使系统能够充分复用已执行查询的结果,本文提出对多个查询进行预处理的方案,通过改变各查询进入Pig编译器进行编译的顺序,从而改变MapReduce作业的执行顺序,使得加载相同数据集的MapReduce作业同时执行,减少与存储库进行匹配的次数。本文设计并实现了基于MapReduce框架的查询结果复用系统,并将其部署在拥有6个节点的Hadoop集群上,通过配置Pig部件生成基准测试集PigMix,用以对复用系统进行有效性验证。将本文的复用系统与当前复用效率最好的ReStore、MRshare系统进行了性能对比,实验结果表明,与对比系统相比,本文设计的复用系统可以明显减少匹配次数、减少系统开销,达到提高查询执行性能的目的。
其他文献
目的:探讨下调受体相互作用蛋白激酶4(receptor interacting protein kinase4,RIPK4)基因的表达对骨肉瘤MG-63细胞凋亡的影响。同时探讨下调受体相互作用蛋白激酶4(receptor
监狱是国家执行刑罚的专门机关,也是由大量建筑物组成的一类特殊建筑,所有建筑都涉及选址,而监狱建筑选址布局的科学化水平直接影响监狱职能的发挥和刑罚功能的实现。一方面:
随着现代生物技术产业的迅速发展,蛋白质的应用越来越广泛,然而生物大分子大多数是以混合物的形式存在,要想应用到生命科学和医药领域必须进行分离纯化。液相色谱分离技术是
本学位论文研究定义在二维水槽中的势流方程组的数值解,论文主要数值模拟二维水槽中晃动液体的自由面波高数值。液体晃动问题解决方案一直是工程领域的挑战,不仅因为其自由表
聚丙烯酰胺(PAM)作为三次采油技术中聚合物驱的主要成分,在石油开采和开发的过程中会对土壤造成污染,给生态环境造成日益严重影响和破坏。本文通过构建室内土柱物理模型研究,考察PAM在土壤中垂向迁移变化规律,采用土柱浇灌实验考察自然条件下PAM浇灌浓度、PAM浇灌量、时间、土壤类型等因素对PAM在土壤中垂向迁移的影响,以及ASP溶液条件下PAM在土壤中垂向迁移情况。采用土柱淋滤实验考察模拟降雨条件下P
随着互联网技术的不断发展,其在人们生活中的作用越来越大,并成为不可或缺的一部分。在此过程中,群互联网概念应运而生,该模式的出现促使通讯体系实现了升级,优化了人类之间的沟通方式,为人们带来了更加便捷的生活方式。而微信就属于一种相对比较普及的群互联网技术模式,因为微信具有用户基础大、操作便捷、沟通效率较高、群互联网构建便捷等优势,促使其自诞生之日起,就获得了广大的关注,其用户数量在短期内就出现了大幅度
通过对螺旋式单螺挤压机的螺杆、螺套之间的间隙、物料含水量、挤压对淀粉降解的测试,研究对膨化质量的影响。
本文采用LA-MC-ICP-MS方法获得班韦乌卢地块卡萨马北部正长花岗岩中锆石的207Pb/206Pb年龄加权平均值为2 011±20 Ma(N=17,MSWD=3.9),表明班韦乌卢地块基底中正长花岗岩主要形
通过不同温度下的轻荷载全厚度车辙试验,分析了在大交通量下,轻荷载对动稳定度和车辙深度的影响,并和0.7 MPa标准荷载下的全厚度车辙试验结果对比研究。研究结果表明:当温度
目前,滨649块注水压力升高,日注水量小,注水效果不理想,整体欠注严重。因此,有必要针对滨649块目前的注水情况,对注水过程中储层的伤害类型与伤害机理进行深入研究,并制定相