基于RDMA的共享缓冲区分布式数据库事务处理设计与实现

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:zhghliu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术和大数据的飞速发展,传统的集中式数据库系统已经难以满足高并发处理负载的需求。于是,出现了不同架构的分布式数据库系统用以解决高并发负载的需求。共享缓冲区的分布式数据库支持多节点写入,多台节点共享一份存储,缓冲区也是共享的。相比于无共享架构的数据库来说,由于需要共享缓冲区,所以网络的开销是较高。针对以上问题,为了有效解决大数据背景下高并发负载问题和低延迟需求,我们设计与实现了一种基于远程内存访问(RDMA)的共享缓冲区分布式数据库,充分发挥RDMA技术在网络传输中低延迟的特点,优化共享缓冲区内的数据传输效率。还利用了新型存储硬件持久化内存(PM)技术,提高了全局事务管理器(GTM)中提交日志信息的持久化效率。本文设计的数据库系统能够支持事务的特性,提出了一整套事务处理过程中遇到的冲突解决方案。此外,共享缓冲区数据库具有高可扩展性,能够横向扩展缓冲区,避免磁盘IO的发生。本文的主要贡献可以概括为以下几点:1.基于Open Gauss设计和实现了一个共享缓冲区的分布式数据库系统,并且利用了RDMA和持久内存技术进行了优化,提出了一个定制化、轻量级的网络通信框架,充分发挥了RDMA低延迟的特性。2.基于共享缓冲区分布式数据库系统,本文提出了一套有效的缓存管理模式,协调了不同节点之间缓冲区访问的冲突。由于修改缓冲区会导致其它节点内缓冲区副本的失效,本文也提出了全局缓存服务的方式,解决了缓存一致性的问题。3.为了在分布式环境下满足事务的一致性,本文提出了一种高效的集群事务管理模式,有效的解决了全局时间戳问题,为不同的计算节点提供了统一的快照和提交时间戳。同时,本文基于共享缓冲区分布式数据库提出了一种多节点写入的并发控制算法,采用了乐观锁的方式解决了事务之间的写写冲突,有效的避免了分布式锁的网络开销。4.将实现的共享缓冲区分布式数据库系统进行大量实验,进一步验证了这些方法都是正确且高效的。
其他文献
区块链技术正在向3.0时代迈进,其在商业上的应用价值成为了政府、机构、相关企业主要的关注、研究热点。联盟链既拥有区块链防篡改、可追溯等特性,又支持与数字货币脱钩、能够受机构或政府监管。因此,不论是从链的性质,还是从政策环境的角度来看,它都是我国把握区块链发展机遇较合适的架构。共识算法用于解决区块链系统的一致性问题,因为它直接决定了区块链的性能、容错率以及正确性,所以是区块链中最重要的技术之一。实用
自从知识图谱的理论方法被引入到我国以来,在社会科学范畴增进敏捷,近期知识图谱的应用在教育范畴和大数据等范畴较多。企业社交图谱的构建,是针对当前年代下大数据环境中企业知识数据资源的有效组织和应用,实现让数据成为生产力。通过学习知识图谱相关的基础理论知识、查看大量知识图谱的相关技术、查看前辈们实现知识图谱相关的项目,最终,实现了本论文的企业社交图谱查询系统。基于购买公司产品的企业,针对用户的需求、数据
随着世界互联网技术的飞速发展,线上支付的应用得到广泛的普及,随着海量交易数据的沉淀,银行积累了大量的数据,包括各类交易类型数据、积分类型信息、客户账户信息等,在这些交易数据当中,其类型具有多样化特点,非结构化类型的数据给数据分析带来很大的麻烦。银行交易的发生必然伴随着不同等级的风险,因此犯罪份子通过银行的安全漏洞去做一些违法交易,如盗刷、伪刷、套积分等,诸如此类的现象频繁发生,给银行行业带来巨大的
太湖流域经济发达,水环境问题突出,是我国十大重点污染治理的流域之一。本研究以太湖流域农业面源污染控制技术和示范工程为对象,梳理归纳“十一五”至“十三五”期间已有农业面源污染控制技术成果,并开展后续跟踪评估研究;在系统研究其对传统污染物的去除效果的基础上,探讨技术应用的长效性规律;同时,研究太湖流域农业面源污染中新型污染物(微塑料)的赋存特征以及典型农业面源污染控制技术对其截留效应,为太湖流域水环境
随着我国金融行业的日益活跃和科技的迅猛发展,各类金融产品(如基金、债券和股票等)的种类和数量逐渐增多,对于投资者而言,如何在以众多金融产品中快速、准确地找到自己需要的产品是一件非常重要且极具挑战的事情。对于拥有海量的用户信息和用户行为数据的证券公司而言,迫切需要充分利用和挖掘这些业务数据的价值,挖掘出用户的偏好,及时向用户推荐合适的金融产品,从而实现交易量和利润的增长。推荐系统可以有效地缓解上述信
为精准治理网络谣言,突破海量信息中谣言监控难点和辟谣信息公众接收困境,并把握提升谣言治理效果的关键,对谣言及舆情精准治理文献进行挖掘,总结研究现状和存在的问题,辨析网络谣言精准治理概念,梳理了网络谣言治理对象-主体-客体结构。提出大数据背景下实现网络谣言精准治理“三向”策略:(1)对治理的对象:网络谣言,加强理性认识,通过大数据挖掘重复出现谣言、大规模扩散谣言的特征,实现抓重-抓扩谣言监控;(2)
学位
受到材料、施工、养护和环境等多方面因素的影响,混凝土结构表面可能产生走向、宽度、深度和程度各异的表面损伤。如果放任混凝土表面的损伤持续发展并继续蔓延,会减小结构的有效载荷,甚至导致结构失效。因此,混凝土表面损伤是混凝土结构健康的重要监测目标之一。人们以前依赖的人工检测方式在进行海量的表面图像处理中,往往存在普适性差、效率不高、识别精度低等许多问题。本文首先对国内外的相关研究工作进行了梳理,总结了现
学位
聚类分析是数据挖掘和数据分析中的一项主要任务,被广泛应用在生活中,如生物信息处理、模式识别、数字取证、信息检索和目标营销等。近年来云计算迅猛发展,存储/计算能力有限的移动终端设备常常会将大型私有数据集和本地应用(如聚类)发送到云上进行外包存储和外包运算。而现有的云服务器通常是在半可信或恶意的环境下运行,即云尚未可信。因此,如何在聚类的过程中对云端的加密域进行安全高效的代理运算成为了最重要的问题之一