基于分布式关系型数据库的查询算法优化

来源 :电子科技大学 | 被引量 : 4次 | 上传用户:tjbxgb123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据量的增长和应用场景的不断变化,数据库系统的架构发生了巨大的改变,分布式关系型数据库(即NewSQL)的出现融合了SQL与NoSQL模式,对外同时提供了SQL接口、分布式事务和集群的高扩展性。NewSQL的基本功能包括分布式事务,SQL到NoSQL的映射等技术都基本完善后,由于存储的数据量增加,NewSQL数据库相比于传统关系型数据来说,应用场景也不再局限于在线事务分析,还要包含一些大型复杂分析查询和离线分析的场景。如何提升在大型复杂分析查询和OLAP场景下的查询性能,是NewSQL数据库的关键问题。在传统关系型数据库中,这一问题主要由查询优化器提供解决方案。优化器会根据查询的代价从数百个甚至数千个查询计划中选择出代价最低的查询计划来执行查询,但是在分布式环境下增加了代价估算的难度,通过查询优化技术选择出一个最佳的查询计划会更加困难,从而降低查询性能。在优化器选择出了一个次优查询计划后,如何降低它对性能的影响就显得十分重要。对于大型复杂分析查询,在优化器生成了次优的查询计划后,减少分布式下的网络开销更能够保证查询计划的健壮性,减小计划执行对数据库性能的影响。本文基于TiDB—一个开源的分布式关系型的NewSQL数据库,搭建了集群实验环境。基于Lookahead Information Passing(LIP)算法,设计和实现了分布式下的distLIP算法。通过将distLIP算子下推到存储层做计算,大大减小了数据的网络传输开销;并通过自适应排序算法,减小了中间计算结果占用内存的大小,提高了查询计划的健壮性;本文中也采用了布谷鸟过滤器用来代替原算法中的布隆过滤器,提高了数据的空间占用率和查询的计算效率。最后,本文使用了星型模式性能测试集测试了大型复杂分析查询下包含distLIP算法和不包含distLIP算法的查询执行时间。实验结果证明,在TiDB上使用distLIP算法是有效的,能够提升星型模型查询和类似查询场景下的查询性能。
其他文献
1临床资料患者XXX,男,57岁,主因发热咳嗽咳痰三天于2011年12月9日收入院。入院后经各项检查确诊为肺炎,既往有老慢支病史,给予抗生素治疗,因患者主诉对舒普深敏感(病例记载),遵医嘱给
10月20日,南昆客专广西段第一和第二长隧道坡录元隧道、孟合山隧道顺利贯通。南昆客专是国家《中长期铁路网规划》的重要干线铁路,是广西、云南两省区之间的首条高铁,也是连接西
还记得2011赛季F1大奖赛中国站韦伯以第18位起步,但以第3名的身份踏上领奖台的奇迹吗?那就是轮胎策略最好的赌局。
介绍第7届国际温度学术会议概况,讨论了接触式与非接触式温度的传感器,高温熔体温度在线检测技术及其发展的关键问题。
随着移动通信技术的发展,位置感知数据集不仅越来越多的被创建和使用,而且其所携带的信息也越来越复杂。由于通用位置感知排序查询(Generic Location-aware Rank Query,GLRQ)
目的:1为<15岁的急性中耳炎患儿提供临床诊断及检查方法;2推荐治疗方法,该方法考虑了日本急性中耳炎致病细菌和其药物敏感性,并与指南委员会达成的以证据为基础的共识相一致
“自我”作为人类发展中一直被探寻的重要问题从来没有停止过,自我认同是个人存在必须经历的问题,通过对“自我”进行分析和发问,能更好的理解一个人的行为活动以及精神追求,研究自我认同也是探寻个人内心之谜最好的途径。潘玉良作为二十世纪初中国第一批留洋女性画家,其本身具有时代所赋予的研究价值,更由于潘玉良个人的特殊成长经历,使她在艺术成就上有着独具魅力的价值特色。本文以潘玉良的自画像为切口,研究其在自画像中
旋翼无人机具有质量轻、体积小、携带方便等优点,被广泛的应用在多种民用场合。导航系统作为旋翼无人机非常重要的部分,是实现旋翼无人机平稳飞行的基础。全球导航卫星系统(G
目的:观察针刺面神经出口治疗风寒袭络型面瘫的临床疗效及影响研究;优选风寒袭络型面瘫患者的针灸治疗处方,为临床治疗提供选穴依据和方法。方法:本研究收集自2019年2月至201
军事气象水文信息共享与应用的实质是实现数据资源的通信保障。气象水文数据的传输涉及通信网络体系的构建和传输策略的制定,而保障用户对信息类型和信息发布范围的需求差异