混合负载下数据库的异步增量视图维护优化

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:matrx1007999999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据规模和用户数量的增加,日趋多样化的业务需求和日益复杂的混合事务与分析负载(Hybrid Transaction/Analytical Processing,HTAP)对数据库系统的事务吞吐量和分析型查询延迟提出了更高的要求。目前并没有公认针对HTAP负载的最优解决方案,但是基于日志合并树(Log-Structured Merge-Tree,LSM-tree)构建的事务处理系统已经被证明了高效的事务处理能力(例如阿里巴巴的Ocean Base),因此在可扩展的事务处理系统上构建分析型查询能力来响应HTAP负载逐渐成为了研究的热点问题。物化视图通过预计算和缓存计算结果能有效降低查询时延,是分析大规模数据的重要手段。视图对外提供查询时,为了保持视图的内容与基表一致,由基表更新导致的视图更新必然会引入额外的开销。为了在可扩展的事务处理系统上高效地维护视图,如何在这种新型架构下设计视图的存储和维护流程、如何在保证视图查询收益下最小化事务处理引入的额外成本、如何优化系统核心资源的开销等都成为了亟待解决的问题。本文针对这些挑战,围绕可扩展事务处理系统的架构、事务处理过程、IO资源等角度设计了一系列的优化方法,并且从根本上降低了视图的维护代价。本文主要工作和贡献如下:(1)本文结合新型分布式LSM-tree架构特点提出了增量视图维护方案:数据规模的急剧膨胀促使纵向扩展(Scale Up)的传统单机数据库架构向横向扩展(Scale Out)的新型分布式数据架构转变。分布式LSM-tree架构是横向扩展的一种新型方案,能够提供可扩展的事务处理能力,但是对于这种新型架构,目前仍然缺少物化视图维护相关的研究工作。本文总结了分布式LSM-tree的架构特点和实现视图的设计要素,提出了一种将视图维护与事务处理分离的异步维护方法,填补了这一领域的空白。本文在保证一致性的基础上,面向不同的负载特征提出了具体的视图维护策略。针对多表连接视图的性能问题,本文设计并实现了基于多个两表连接的视图维护流程,从而能够根据基表更新直接定位到视图中需要相应进行修改的记录,有效降低了视图维护的代价和对事务处理的影响。(2)本文对高通量事务负载下的增量视图维护进行了优化:当前的视图更新方法通常将每个单独操作或单行日志作为计算的切入点,使得优化方式仅能着眼于单行操作或同一基表的若干行操作。高通量的事务负载下,视图维护对事务处理的影响被放大,视图维护性能需要进一步优化。本文从包含若干操作的整个事务的角度,组合多个基表操作共同生成视图的增量,大大降低了视图维护开销。事实上,在OLTP(Online Transaction Processing)负载中,一个事务往往包含多个表的执行逻辑,隐含了各个表中数据的相关性,并且这往往也是OLAP(Online Analytical Processing)负载同时关注的。本文剖析了事务之间可用于视图维护的逻辑信息,将事务中共同更新的基表组成了一个分片,通过组合这些基表的操作直接得到整个分片的增量。相比传统基于单行操作计算视图增量的方式,以事务为粒度的视图维护过程通过批量进行多表的增量计算,极大地改善了多表连接物化视图的效率。本文还进一步提出了两种优化方案:通过优化增量计算的表达式来减少计算开销;通过避免无效的基表访问来从根本上降低视图维护代价。(3)本文对视图维护的核心IO资源开销进行了优化:针对混合负载下事务与查询访问的数据经常重叠的特点,本文进一步着眼于优化事务处理、查询和视图维护总体的IO开销。当基表发生更新时,本文不对视图进行同步更新而是仅记录下维护视图的任务,这些任务通过复用后续事务和查询的IO来完成。本文设计并实现了一个支持共享IO的多表连接视图的维护方案。通过构造视图关系图来维护基表之间的连接关系,事务执行不仅为基表生成增量记录,还根据其连接表生成相关的维护任务。因此,后续事务或查询可以在不增加IO成本的情况下完成这些任务从而有效降低维护代价。另外,基于多版本实现的增量计算方式也保证了视图与基表在异步更新下的一致性。综上所述,本文深入研究了混合负载下的异步增量视图维护策略,在不同场景下设计实现并优化了视图的存储结构和维护方案。首先,针对目前被广泛使用的分布式LSM-tree架构数据库,本文首次提出并设计实现了高效的增量视图维护方法。然后,本文研究了将事务作为整体来加速视图增量计算的策略,并通过分析形式化的增量计算表达式,进一步进行了优化。最后,本文针对更普遍场景下视图维护时的IO消耗问题,将事务处理和分析查询的IO资源服务于视图维护过程,从根本上降低了视图维护的代价。大量的实验验证了本文方法的有效性。在未来,选择维护哪些视图来整体响应分析负载、如何结合机器学习策略指导异步视图维护任务的执行、以及在混合负载下,如何进行物化视图的推荐等都值得进一步的研究。
其他文献
学位
杨人楩是20世纪在学术上颇有建树,如今却声名不显的史家。他一生致力于世界史的教研,是法国革命史研究专家、国内非洲史的拓荒者。本文主要依托杨人楩的著述和译著,参考相关报刊杂志,探究他的史学成就、特点和影响。本文关注学术思想与时代背景之互动,试图以杨人楩史学动态发展和与同时期他人编写的教科书进行比较,来凸显他的治学特色,尝试探寻以他为代表的民国知识分子的心路历程和家国情怀。本文凡四部分:第一章绪论,评
光量子理论的实际应用包括量子计算,量子通信和量子度量等,其核心是对光量子信息的处理。大规模的光量子信息处理系统通常是由节点构成的网状结构。受光子传输损耗的影响,节点与节点之间的成功连接可能需要多次尝试,这就离不开稳定、经济、高效的光量子存储器件。衡量光量子存储系统好坏的指标包括:存储效率,存储带宽,存储保真度等。其中,存储效率是最基础的特征指标;高的存储带宽对于存储器接入高速网络意义重大;而保真度
二次剩余在密码方案构造和密码协议设计中扮演着重要角色。众所周知,Goldwasser和Micali里程碑式的工作首次给出了密文不可分辨性与语义安全的形式化定义,继而开启了密码学可证明安全领域研究的新篇章。他们基于二次剩余构造了第一个概率加密方案。然而,这个方案具有较大的密文扩张率,所以降低了它的实际应用价值。如何改进Goldwasser-Micali密码系统是一项古老而又富有挑战的课题。除了在构造
二维(Two-dimensional,2D)材料以其独特的物理、机械以及电学特性引起了研究者们的广泛关注。其中,由两种或两种以上的2D材料构成的合金(如Mo(SxSe1-x)2、W(SxSe1-x)2)和异质结(如MoS2/TaSe2、MoS2/WS2、MoSe2/MoS2),因其不同于单一2D材料的物理特性和电学性能,为新材料的开发和新型器件的应用带来了诸多可能。二维合金和异质结显著的优点之一是
教育对社会平等具有不可忽视的重要作用,人们在追求更高质量的教育的同时也无时无刻不在追求着更高层次的公平。作为一种培养人的社会活动,教育是以“过程”的形式存在并展开的,过程属性是教育的基本属性。因此,对于教育公平的理解也应建立在“过程”的基础之上。瑞典教育学家胡森认为教育过程是指学生入学之后所接受的教育的中间性阶段,过程公平意味着以平等为基础,根据不同学生的特点所采取的不同对待方式。本文认为,这种“
城市环境中的GNSS定位应用,接收到来自镜面反射、绕射、漫反射等额外路径抵达的相干信号,同时受到多路径干涉与非直射信号(non-line-of-sight,NLOS)接收的影响,造成复杂的测距误差。大多数现有的多路径抑制技术将NLOS接收与多路径干涉所引起的误差分开讨论以简化问题,而在实际的城市环境中,多路径效应是多种误差共存并且相互作用的结果。因此,需要考虑综合性的应对方案。有学者将“直射信号以
十九世纪末期,随着中国内外政治形势的变化和以普鲁士为首的德意志诸邦对外政策的转向,1859年普鲁士联合德国关税同盟所有州、汉萨同盟市以及梅克伦堡,在艾林波伯爵的带领下,开展了一场游历中国、日本和暹罗诸国的东亚远征考察,以求与远东诸国签订贸易条约,并从科学和商业贸易关系的角度研究这一地区。这场远东冒险不仅促成了《中德通商条约》的签订,使得中德之间的交往实现了历史性的突破,为近代两国关系的进一步发展打
InN是一种具有超导特性的Ⅲ-Ⅴ族半导体材料,将第三主族氮化物中的半导体与InN的超导特性结合并实现片上集成具有重要的应用前景。但是,InN材料在生长过程中容易出现相分离,形成In/In2O3的超导相,使得InN本征超导的研究进展缓慢。本文研究了InN的超导输运特性,主要研究成果如下:1.用盐酸腐蚀的方法去除了InN中的In/In2O3分离相,研究了InN在腐蚀前后超导转变温度和临界磁场的变化。结
习近平从新时代党和国家全局的战略高度出发,多次强调要严明政治纪律和政治规矩,营造风清气正的良好政治生态,对新时代政治生态建设作出了一系列重要论述。习近平关于加强党内政治生态建设思想是对马克思主义党建思想的继承与创新,同毛泽东、邓小平、江泽民和胡锦涛的党建理论一脉相承,是马克思主义中国化的最新理论成果,是党和人民的实践经验和智慧结晶,更是全党全国人民实现中华民族伟大复兴中国梦的行动指南。深入研究习近