可扩展数据库中快照隔离级别的实现与优化

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:dhalbert
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的繁荣发展和数据密集型应用的广泛使用,越来越多的互联网应用采用可扩展数据库来处理日益增长的数据存储和数据访问。由于增量数据与基线数据分离的特性可以同时发挥磁盘的大规模存储以及内存的高性能存取等优势,日志结构合并树的思想已被广泛应用于分布式存储系统当中,如BigTable,HBase。然而,由于该类存储系统通常不提供事务特性,无法直接应用于金融和电信等关键应用中。谷歌的Spanner在BigTable的基础上通过分布式并发控制实现了事务的ACID特性。但由于系统的性能受制于数据分区,Spanner对上层应用有着极高的要求。随着内存价格的不断下降和单处理器中处理单元的不断增加,采用一个独立的物理服务器节点来处理增量数据从而避免分布式事务已成为一种选择,如OceanBase,CEDAR。然而,该类系统的架构特性决定了其无法高效地处理事务的读取操作。首先,为了保证事务的正确性,每一个事务读取均需要访问基线数据和增量数据,这将增加事务的处理时间,从而增加事务冲突的可能性;其次,由于每次事务读取均需要访问增量数据,单事务处理节点的网络带宽可能成为系统瓶颈。针对上述两个方面的问题,首先,为了发挥该架构下增量数据多版本存储的优势,本文采用了快照隔离级别来保证事务的正确性,使得读写互不阻塞,进而提升读写的并发性能。其次,针对读密集型应用,本文提出了一个更加高效的数据访问方法,采用布隆过滤器维护增量数据,在事务处理节点的数据访问流程中对无法获取到增量数据的空读请求提前进行过滤,进而降低单点过载造成的读取延迟,提升整体吞吐性能。本文工作的主要贡献如下:1.给出了在基于日志结构合并树架构的可扩展数据库系统中实现快照隔离级别的方法,分析了定期合并流程中快照隔离需要面对的问题并提出解决方案。同时给出如何在保证快照隔离正确性的基础上,有效地进行副本管理和故障恢复的策略。2.分析了该架构下事务处理节点的数据读取流程,总结该节点处理读请求时网络I/O线程和工作线程的工作机制,并结合大多数应用场景下的数据分布情况,对原有工作机制提出改进方法,使用布隆过滤器优化空读的处理,使得空读请求可直接在网络I/O线程返回,而不必排队等待工作线程处理,进而提升系统整体的快照读取性能。3.在开源系统CEDAR中实现上述快照隔离级别和快照读取优化方法,并通过大量实验验证快照隔离级别的服务性能,同时验证基于空读过滤的快照读取优化方法对系统读取的性能提升。实验表明,本文提出的快照隔离级别实现方法和快照读取优化方法能够保证系统对读密集型服务提供接近理想状态下的可扩展性能和较高的可用性,这对基于日志结构合并树架构的可扩展数据库系统提供高性能事务级数据访问是一次积极的尝试,具有一定的借鉴意义。
其他文献
目的:运用关联规则对中药治疗血尿为主的IgA肾病(IgAN)的临床研究文献进行分析,探讨其中医证候及用药特点,以期更好地指导临床。方法:检索中国知网、万方、VIP、Pubmed数据库,严格按照纳入和排除标准筛选合格的文献,对文献中的药名和证型进行规范化处理并建立数据库,对证候、药物的特征进行频数分析。最后,运用关联规则对中药组成与常见证候的关系进行分析。结果:1.本研究一共纳入了51篇文献,涉及3
滑雪旅游资源评价是体育旅游资源评价的一种。滑雪旅游评价体系是对所评价的地区里的滑雪旅游资源的优劣、组合情况以及组合后的优劣进行准确的判断和合理的比较。对滑雪旅游资源起到了对比、甄别和完善的作用,对于滑雪旅游资源的开发具有一定的参考价值。因此,我们根据评价体系对不同的滑雪旅游资源进行具体的,可操作的划分。构建科学、合理、准确的滑雪旅游评价体系能促进滑雪旅游资源更好的开发和滑雪旅游业的发展,起到“以评
第一章单、多节段腰椎峡部裂性滑脱矢状面形态比较目的:探讨腰椎峡部裂性滑脱患者与正常人群脊柱-骨盆矢状面形态的差异,分析多节段与单节段腰椎峡部裂患者之间矢状面参数的特征。方法:选择从2007年1月到2018年1月在我科就诊的低度腰骶部峡部裂性滑脱患者。按照发生峡部裂节段数量将纳入的453例分成单节段峡部裂组和多节段峡部裂组,其中单节段组有402例,多节段组有51例。并以158例年龄匹配的健康成人为对
无人机导航控制系统及其相关算法的设计和可靠性研究是其实现工程化应用的前提。然而,随着微小型工程无人机在各领域的大规模应用,其面临的工程任务愈发复杂,工作环境愈加恶
在大尺寸三维形貌测量中,立体测量设备的测量精度和测量广度往往不能兼得。为了得到高精度的观测数据,我们需要以较小的测量距离以及较小的视场角来对景物进行三维形貌测量,
高速公路的建设对完善国家高速公路网,辐射带动区域社会经济协调发展起着很大作用。收费高速公路项目投资规模大、建设周期长,加之建设需求的日益增长,加重了政府的财政赤字
十九大以来,中国特色社会主义进入新时代,对党的建设和党员思想政治教育都提出新的要求。“互联网+”背景下,党的建设进入发展新时期,迎来发展新模式。通过将“互联网+”有效运用到党建工作中,将“互联网+党建”运用到党员思想政治教育之中,加强了党的建设,推动了党员思想政治教育的发展。“互联网+党建”模式是全面从严治党背景下,实施网络强国战略,建设马克思主义学习型、服务型政党的关键环节,是智慧党建建成和党员
近年来,深度学习的发展为计算机视觉、自然语言处理以及语音识别等众多领域带来了颠覆性的改变。随着卷积神经网络自动提取特征的能力越来越强,计算机视觉在人脸识别、自动驾驶等方面也不断发展。视觉图像的特征提取是机器理解视觉图像的重要内容之一。无监督视觉特征表示学习的目标是从无标签的视觉数据中学习出有利于视觉理解的特征表示,对于减少人工标注的繁重工作量、发挥大量无标签视觉数据的潜力具有重要意义。目前,大部分
大数据已成为许多领域的热门话题,具有绝对优势的云平台越来越多地被应用到大数据处理和分析数据上。现有研究表明,在上传云平台前对数据采用可搜索对称加密,可方便用户进行
在当今时代,电子邮件在人们的生活和工作中具有重要作用,电子邮件的信息和往来关系反映了现实社会中人物的行为和联系,电子邮件安全行为可侧面反映社会人物之间的安全行为,电