高可扩展的分布式确定性数据库设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:mayflysnow
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
确定性数据库预先确定事务执行顺序,并在运行时根据该顺序对事务进行确定性执行。该机制可以有效规避传统分布式提交协议所带来的开销,进而提高系统性能;同时,可以避免由竞争引起的事务回滚,提升在高竞争场景下系统性能的分布式可扩展性。鉴于确定性数据库与传统数据库相比在性能上的优势,该类系统已经成为学术界研究的热点并且开始被产业界尝试使用。然而,本文发现确定性数据库系统在低竞争场景下系统性能的可扩展性较差。具体来讲,在运行时为了保证事务的确定性执行,服务器需将接收到的事务按照预先确定的顺序进行调度,然后依次执行,该调度操作限制了系统的可扩展性。在实现中,确定性数据库引入了确定性锁的概念,通过与两阶段锁相结合,达到确定性执行的目的。当服务器接收到事务后,会对事务读写集合进行分析,按照预先确定好的顺序对集合中的数据上锁(确定性锁)。确定性数据库通过保证锁的有序性,进而满足了事务执行的确定性。本文通过评测与分析发现,在低竞争场景下,现有确定性数据库基于确定性锁的调度机制成为性能瓶颈,使得其性能最多只能扩展到4个工作线程。针对上述问题,本文提出了确定与乐观并发控制(DOCC)。DOCC在保证事务确定性执行的同时,具有很高的高可扩展性。借鉴经典乐观并发控制协议的思想,本文将事务执行周期分为执行、等待、验证和提交四个阶段。本文发现,只要保证并发事务的验证顺序与预先确定的顺序一致,便可以满足事务执行的确定性。基于此观察,本文设计并实现了DOCC算法,该算法允许事务并发执行,仅限制事务的验证和提交顺序,进而有效提高系统性能的可扩展性。此外,本文在DOCC算法基础上,进一步对只读事务进行优化,通过为数据维护多个版本,有效提高了只读事务的执行效率,避免只读事务阻塞后续事务处理;同时,为了减少事务回滚开销,本文提出了数据预取的优化,使得事务在重试时无需再次索引数据;本文还提出了基于DOCC的高效垃圾回收机制,通过对多种传统垃圾回收机制进行整合,针对不同情况使用不同的回收机制,将垃圾回收对系统事务处理性能带来的影响降到最低。最后,基于以上算法和优化,本文实现了高可扩展的分布式确定性数据库系统DOCC-DB,并详细介绍了DOCC-DB的设计与实现。为了展示DOCC对于现有确定性数据库带来的性能提升,本文使用了TPCC测试基准,对DOCC-DB和已有的分布式确定性数据库Calvin进行测试。测试结果表明,DOCC-DB比Calvin能够有最高8倍的性能提升。
其他文献
历史是我们存在和发展的内生动力和民族底气,是民族的"根"和"魂",是未来发展的宝贵资源和坚实基础。在中华民族辉煌灿烂的历史长卷中,点缀着灿若繁星的历史人物,这些历史人物
会议
当前我国正处于推进国土空间规划背景之下,随之应运而生的空间管控理论,是为了解决宏观层面上城市绿地系统规划缺乏理论依据、无法管控的难题。因此,构建有可行性的城市绿地空间管控体系是进行城市总体规划中必然趋势。本文研究目的是:立足国土空间规划的背景和现行的各级城市专项规划体系,通过文献查阅和实践案例分析提出有较高可行性和学习借鉴意义的,基于空间管控视角下的城市绿地空间布局优化调整的体系和管控要素讨论。首
在过去几十年科学技术的快速发展中,非刚性图像配准已经成为生命科学、医学成像、运动跟踪建模、模式识别等领域不可缺少的核心图像处理技术之一。一方面,随着成像技术与设备的进一步发展,含有丰富结构/功能信息的高维度、大规模图像数据的涌现使非刚性图像配准算法面临着如何高效计算图像数据的挑战。另一方面,由于常见的生物组织运动、病灶发展以及外部物理性因素,导致待配准图像中出现对应性缺失和复杂局部大形变的异常问题
在我国水资源供需矛盾愈加突出的情况下,建设水源地输引水工程来解决水质性缺水的问题逐渐成为一种主要供水方式,输水工程中若有大量泥沙在管道中沉积,会严重影响管道正常运行的安全性和经济性。本文以某市水源地输引水工程为研究背景,通过CFD数值模拟技术研究水源地取水泵站出口管道在设计运行模式下和不同运行工况下的泥沙分布规律。(1)运用软件ANSYS 14.5,选择欧拉-欧拉模型中的Mixture混合模型作为
铁路作为我国经济的大动脉,不仅对我国经济的发展起着至关重要的作用而且推动了我国文化的大发展。在“一带一路”战略的号召下,中国高速铁路将是战略实施的重要工具,而我国自主知识产权的CRTSIII型板式无砟轨道,将成为中国高速铁路走出去的主型无砟轨道。论文以某型高速列车和土质路基减振型CRTSIII板式无砟轨道为研究对象,通过有限元软件ANSYS和多体动力学软件UM建立车辆-轨道-路基耦合系统模型,通过
通过对国内上市公司并购情况的定性分析,本文对衡量上市公司高管特征对企业并购行为的影响进行了科学的尝试。本文以2013-2015我国沪深两市A股发生并购交易的上市公司为样本,
目的:本研究主要是rb FGF联合纳米银敷料治疗深Ⅱ度烧伤创面的疗效研究,比较rb FGF联合纳米银敷料治疗和单纯rb FGF治疗、单纯纳米银敷料治疗三种方法在深Ⅱ度烧伤创面治疗过程中的疗效差异,寻找一种新的治疗方案,以缩短住院时间、减轻患者痛苦,并促进创面愈合,为rb FGF和纳米银敷料在深Ⅱ度烧伤创面的临床应用提供新思路和临床依据。方法:(1)收集右江民族医学院附属医院烧伤整形与创面修复外科2
安阳钢铁股份公司第一炼轧厂(以下简称一炼轧)通过实施清单式隐患排查治理,使现场事故隐患和薄弱环节及存在的突出问题得到有效防范和遏制重特大事故的发生,促进了一炼轧安全
为满足各类空气净化器对不同污染物的洁净空气量、净化能效的性能检测,本文设计研制了空气净化器30m~3环境试验舱,主要由内外舱主体、空气净化系统、温湿度控制系统、空气循
目的:探讨神经元素3(neurogenin3,Ngn3)的过表达能否促进人脐带间充质干细胞(human umbilical-cord mesenchymal stem cells,hUCMSCs)向胰岛素分泌细胞(insulin-producing cells,IPCs)的诱导分化。方法:分离培养hUCMSCs,通过流式细胞术鉴定CD90,CD105,CD45,CD34的表达情况,通过成脂、成骨诱