基于RDMA和HTM的分布式事务系统的设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:a447047964
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
事务作为一种编程抽象,简化了关系型数据的处理。随着数据规模的增加和并发级别的高,诸如Web服务,证券交易和电子商务等众多场景越来越需要低延迟和高吞吐量的事务处理系统的支持。然而,传统的事务处理系统效率低下,不能够支持海量的数据和大规模的并发访问。与此同时,硬件领域的高速发展也使得一些高级的硬件特性开始普及。例如大容量(非易失性)的DRAM,硬件事务内存(HTM)和远程直接内存访问(RDMA)技术。这些高级硬件技术为实现低延迟、高吞吐的事务处理供了新的机会:大容量的DRAM使得基于内存的事务变得可行,这能够显著降低事务处理中的I/O开销;硬件事务内存在硬件级别供了原子性,一致性和隔离性(ACI),这使得我们可以将复杂的并发控制交由硬件完成,保证并发性能的同时极大地降低了工程复杂度;RDMA技术降低了群集内节点的通信开销,进而可以进一步降低分布式事务的延迟。一方面,现有的研究成果已经有力地证明了综合利用这些高级硬件特性可以极大的升事务处理的性能,另一方面,这些研究在一些重要的方面仍然存在不足。例如,有些系统仅仅利用了一部分的高级硬件特性,要么不能供分布式的支持,要么不能供事务的支持,或是依赖于复杂的细粒度锁机制实现事务;另一些系统则对所能支持的事务类型存在限制(例如需要前获知事务读写集合等),或是仅仅支持事务的部分特性(例如仅仅保证事务的持久性等)。因此,本文的主要工作在于解决现有系统没有完全解决的问题,充分利用高级硬件特性的同时,供足够通用和功能完善的事务处理系统。本文设计与实现了DrTM+R,一个兼顾性能与通用性的分布式事务处理系统。它充分利用了RDMA和HTM的硬件特性,供了一个基于内存的数据库。DrTM+R在逻辑上分为两层:事务层和存储层。在事务层,DrTM+R结合HTM和RDMA,设计了一套硬件友好的混合乐观并发控制协议来保证并发事务的正确执行。在存储层,DrTM+R设计了对HTM和RDMA友好的Cluster散列法,将大规模的数据均衡地存储到集群的各个节点中,并供了对事务层透明的位置缓存,保证了分布式环境数据的快速访问。与之前的工作相比,DrTM+R的事务层消除了原有的限制,不需要前获知事务的读写集,保证了事务的通用性;DrTM+R的存储层与事务层充分解耦,通过位置缓存的方式,大幅高了数据访问的效率。使用典型的OLTP工作负载(如TPC-C和SmallBank)进行评估表明,DrTM+R在6节点的集群上可以很好地扩展,分别在TPC-C和SmallBank上实现超过每秒5.69和9400万次事务处理的性能,比当前最先进的分布式事务系统(Calvin)升了一个数量级。
其他文献
作为历史学家与人类学家,房龙在其著作《艺术》中以新颖的研究方法和独特的视角重新构建了人类艺术发展的漫长历史,而房龙关于美术领域的探讨不仅源于其著作的重点章节,更集
图形处理单元,也叫Graphics Process Unit(GPU)是现代计算机系统中不可或缺的硬件之一,它的初衷是为了承担计算机系统中关于图形图像的运算。近些年,随着计算机技术的发展,计
食品包装具有保护食品安全的功能。食品包装被拆开之后,通常的结果是被当做垃圾丢弃掉,不再存在任何的价值及意义,并且还造成了资源的浪费以及对环境的破坏等不良影响。因此本文以儿童食品包装为例,基于儿童趣味性心理要素进行食品包装延伸功能性设计,并总结出实现食品包装在被抛弃之前变废为宝的设计策略。本文以趣味性儿童食品包装为研究对象,以“活力me”棒棒糖来进行实践设计。在具体设计中,就其目前存在的主要问题“功
进入移动互联网时代,国家与国家之间的交流更加密切,受众接触各个国家甚至各个城市的信息越来越容易。对此,良好的国家形象在对外交流的过程中也越发重要。国家形象的对外宣传离不开城市形象的用心塑造。外国人可以通过城市形象来理解国家形象。由于国家之间的文化背景不同,使得城市形象的自我认知与“他者”塑造之间也存在不同。重庆市作为中国四大直辖市之一,研究其“他者”视域下的城市形象,对城市形象塑造与对外传播有重要
学位
对外汉语教学中关于“语”“文”教学研究向来已久,也就是汉语教学中语音与汉字、口语与书面语之间的先后顺序、协调抗衡的问题,对此,不同专家学者持有不同看法和意见,至今尚无定论。对外汉字教学在走上坡路的同时,仍面临方方面面的挑战,是对外汉语教学中的研究重点与难点。本文结合韩国CPIK项目在韩实施情况,调查总结韩国汉语教学中有关“语”“文”教学的问题、探讨分析其原因,并结合笔者在韩教学经验给出适当建议。首
实时系统在国防、金融、电信、航空等重要应用领域中发挥了至关重要的作用,近年来实时系统大量用于我们的日常与工业生产。实时系统不仅要保证逻辑正确性,还要保证时间正确性
"多规合一"实质是政府简政放权改革。本文分析了厦门利用多规合一推进建设项目审批制度改革面临的困境,提出深化建设项目审批制度改革的必要性与可行性,充分借鉴新加坡的先进
信号调制方式的自动识别是检测到信号之后,进行信号解调之前的一个重要步骤,在民用和军用通信领域均发挥着举足轻重的作用。结合国内外文献资料,类间信号调制分类已经取得了不错的效果,但高阶信号的类内分类还存在一系列问题。传统的对高阶信号进行类内分类的方法主要是采取高阶累积量的方法,因为高阶累积量可以非常有效地抑制高斯噪声的影响。然而,传统的高阶累积量方法存在以下几个问题:1)算法计算复杂度高。随着信号调制
二语习得对母语会产生语言迁移,日语对汉语的负迁移有很大一部分也来源于日语汉字词汇。在本篇论文日汉同传的一场模拟会议中,笔者发现日语汉字词汇出现频次高,且笔者出现偏误的场合往往是面对日语汉字词汇的场景,进一步分析后发现也有不少日语汉字词汇也对译语输出产生了正面影响。本文以安倍首相施政方针演讲模拟会议为例,对日汉同传中日语汉字词汇对译语的影响进行了分析。论文分析了案例中日语汉字词汇的类别,共计23例,
近年来,交通、水电等领域的隧道建设迅猛发展。由于地质条件极其复杂,在施工过程中突水塌方等灾害频繁发生,造成了巨大的经济损失,严重威胁着人民的生命财产安全,亟待破解隧道等地下工程的安全监测技术瓶颈。微震监测技术能够利用隧道内岩石破裂过程中产生的微震信号推测岩体的稳定性,对保证施工安全具有十分重大的意义。微震源定位是微震监测技术的核心,开展微震源精确定位技术研究具有重要的安全意义和经济意义。本文以实现