面向HTAP的大规模分布式数据库混合存储引擎

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:woshigr321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,业务日趋多样化,应用数据海量增长,传统面向联机分析处理(Online Analytical Processing,OLAP)与传统面向联机事务处理(Online Transaction Processing,OLTP)的数据库系统由于架构差异和数据存储组织方式的不同而彼此独立,无法同时满足日益复杂的业务需求,面向混合负载(Hybrid Transaction/Analytical Processing,HTAP)的数据库应运而生,成为数据库的主要发展方向之一。传统面向OLAP或OLTP的数据库采用单一“列存”或“行存”的存储方案,无法兼顾两种数据存储格式的优势(列存能高效地实现复杂查询,行存有利于实现高效的事务处理)。由于HTAP既要做联机事务处理也要做联机分析处理,所以如何设计面向HTAP的数据存储策略成为热门研究课题之一。针对HTAP的应用场景,本文讨论了分布式HTAP数据库系统框架,存储引擎数据组织格式,以及利用机器学习来优化存储引擎中数据存储布局,以更友好地支持HTAP未来的工作负载,进而提升数据库性能。论文主要完成了三个方面的工作:1)对时下业界热门的分布式HTAP数据库存储架构和存储引擎数据组织方式进行研究,分析其主要优缺点,并设计与实现了分布式HTAP数据库框架和灵活的数据存储格式。2)设计并实现了存储布局重组算法,利用基于密度的算法DenStream结合贪心算法定期地计算出对未来HTAP工作负载友好的最优存储布局。3)设计并实现了在线重组技术,利用增量的方式以TileGroup为重组粒度将存储引擎中旧布局的数据拷贝到新布局中,逐渐将布局转化为对OLAP友好的存储布局。本论文在借助自主研发的分布式列式数据库Goldfish查询引擎的基础上,设计并实现了面向HTAP的分布式数据库系统。针对该系统中的存储引擎数据组织方式,分别同行存和列存存储引擎进行了比较,从测试数据来看,本文设计的数据组织方式在面向联机分析处理时的效率明显高于行存存储引擎,且性能和列式存储相当;在面向联机事务处理时的性能明显比列存存储引擎好,性能可以和行式存储比拟。在面向HTAP的应用场景下,本文设计的数据存储结构兼顾了行存和列存的优点,性能明显优于仅行存或者仅列存的数据组织方式,对HTAP工作负载更友好,极大地提升了HTAP数据库的性能。
其他文献
目的:探究高尔基体重组与堆叠蛋白65(GRASP65)通过JNK信号通路对MKN-45增殖、凋亡、周期和侵袭的影响。方法:用免疫印迹和免疫荧光法检测三种细胞中GRASP65的表达,筛选出GRASP65高表达的细胞株。将si RNA转染至GRASP65高表达的胃癌细胞株以降低GRASP65蛋白的表达。使用Western印迹和RT-q PCR筛选出最佳的si RNA基因敲除片段,用于后续实验。将胃癌细
在同龄人中,有毛岸英那样曲折经历的非常少见。他先后流浪、留学和在东欧参战,并在国内学农,参加土改,到工厂当干部,参加志愿军,最后牺牲在美军投下的燃烧弹火海中。作为中国
北大荒在中国农垦史上具有重要的地位。它位于我国东北地区的黑龙江省,主要由三江平原、嫩江平原和黑龙江沿途河流平原所组成,是我国现有最大耕种土地面积和机械投入量最高的国营农场。北大荒所处地区地理位置水源充足,气候适宜,土地肥沃,是世界上著名的三大黑土带之一;其自然资源充足,纯天然的自然环境加上在古代时期,此地一直处于荒凉和人烟稀少的状态,致使这片土地蕴藏了丰富的肥力,也让这片土地未曾受到过破坏和过度开
背景:吗啡是临床上用于治疗癌症疼痛的常用镇痛药物,但是随着吗啡的多次使用会出现镇痛效果降低的现象,称之为吗啡耐受。除了镇痛作用降低之外,还会出现便秘、恶心呕吐、头晕嗜睡、呼吸困难、排尿困难等不良反应,严重影响着癌痛患者的生存质量,制约着吗啡的临床应用。目前关于吗啡耐受产生的原因及如何减轻吗啡耐受尚不明确。因此,明确吗啡耐受的原因及如何减轻吗啡耐受的研究具有重要的现实与理论意义。近年来,大量研究表明
大学是科技创新的生力军,在国家创新驱动发展战略中发挥着不可或缺的作用。当前正值中华民族伟大复兴的关键时期,推进高校“双一流”建设是国家全面崛起的迫切要求。创建世界
<正>小国寡民1,使有什伯之器2而不用;使民重死而不远徙。虽有舟舆,无所乘之;虽有甲兵3,无所陈4之;使人复结绳5而用之。甘其食,美其服,安其居,乐其俗,邻国相望,鸡犬之声相闻,
北大荒的开发建设史既是一部军人创业的历史,也是一部青年奋斗的历史,更是一部弘扬民族精神、展现民族风貌的历史。70年来,北大荒人在不断艰苦实践的过程中缔造了具有黑龙江垦区特色的精神资源——北大荒精神,其随着时代的发展和演变成为中华民族精神的重要瑰宝。本文立足于马克思主义的基本立场,探究北大荒精神的历史演变,并深入挖掘其当代价值,试为加强中国特色社会主义精神文明建设尽一份绵薄之力。全文包括绪论、四章正
《桃花源记》是《桃花源诗》的序,在《桃花源记》中,陶渊明创造了一个乌托邦式的人类理想栖居地——桃花源。不难发现,其艺术原型出自老子的"小国寡民"思想。老子其人其书多
北大荒精神是在建国初期特定历史条件下和艰苦卓绝的环境下培育和磨砺出来的,以“艰苦奋斗、勇于开拓、顾全大局、无私奉献”为主要内涵,是一种历久弥新、永不过时的伟大民族精神。北大荒精神是时代产物,同时也是时代发展的“助推器”,不仅仅是北大荒人前行的风向标,更是推动中国农业发展的引擎。因此,对于北大荒精神的研究具有重要的现实意义。目前,我国步入新时代,我们应该继续传承北大荒精神,让其在新时代继续发挥价值,
目的探讨预防性护理联合Autar风险评估对髋部骨折术后患者深静脉血栓发生率的影响。方法取2019年1月~2019年12月因髋部骨折来我院接收手术治疗的108例患者为研究对象,随机设