基于分布式一致性算法Raft构建多数据中心存储系统

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:my_zq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着大数据,云计算和物联网等新技术的大规模应用,数据存储量级开启了爆炸式增长,为了满足不断增长的数据存储需求,各个行业纷纷开始着手建设企业数据中心,提高业务效率,保证服务无间断,数据中心已经成为了企业运行不可分割的一部分。相对于传统的集中式数据中心,分布式数据中心具有更强的水平扩展能力并且能够按照业务需求实现分布式部署,可以更好的帮助企业提供服务。但构建分布式数据中心需要面临复杂的系统架构设计,数据一致性以及运维管理等多方面的挑战,其中最为基本也最重要的一项就是数据一致性,数据一致性是保证服务正常运行的关键。分布式存储领域通常采用分布式一致性算法来实现分布式一致性,目前使用最广泛的分布式一致性算法有两种,一种是Paxos算法,一种是Raft算法。Raft算法相对于经典的Paxos算法更易于理解和实现,但由于Raft算法的强领导者特性导致其在水平扩展性上存在限制,并不适用于海量数据存储的场景,因此本文针对Raft算法的这一缺陷,设计了Scalable-Raft分布式存储方案。Scalable-Raft是基于Raft算法构建的多数据中心存储系统,支持高并发访问以及海量数据存储,并具有良好的扩展性。本文主要工作如下:(1)全面了解分布式存储领域相关技术。重点研究分布式存储数据分布,分布式存储一致性的实现,并结合Paxos算法与Raft算法对分布式存储一致性进行深入学习,了解两种算法的运行机制以及各自的优缺点。(2)Raft算法的实现与优化。深入了解Raft算法的工作原理,完成Raft算法的实现,并针对Raft算法在工程应用中存在的问题给出优化方案,提高Raft算法运行的效率和稳定性。(3)Scalable-Raft方案的设计与实现。本文中分析了Raft算法在水平可扩展性方面的局限性,并针对这一局限性提出了一种新的Scalable-Raft方案,Scalable-Raft系统支持弹性伸缩,具有良好的水平可扩展性。此外,Scalable-Raft方案支持高并发访问和海量数据存储。(4)负载均衡实现。针对多数据中心存储中的数据负载均衡和Leader负载均衡提出了相应的负载均衡策略,保证每一台服务器的资源均得到充分了利用,以获得最优的系统性能。为了评估Scalable-Raft方案的性能和有效性,本文中基于Scalable-Raft方案搭建了多数据中心存储系统,通过多项实验对比了Scalable-Raft方案和Raft算法的性能,实验结果表明,在高并发访问场景下,Scalable-Raft方案相对于Raft算法有着更好的性能,并且Scalable-Raft方案具有良好的水平扩展性,可以随着系统的扩展应对更高访问量的场景。
其他文献
高硫铝土矿拜耳溶出过程中硫主要以S2-的形态转入铝酸钠溶液,并部分氧化成高价态,其中低价硫S2-和S_2O_32-对设备材质造成较为严重的腐蚀。课题组已对溶出管道材质20Cr、罐体材质Q235和16Mn钢进行了腐蚀研究,为了扩大材质的选择范围,本文以热换器常用钢种12Cr1MoV为研究对象,结合浸泡腐蚀与电化学测试方法,研究铝酸钠溶液中S2-和S_2O_32-对其腐蚀行为的影响,并分析腐蚀机理。主
近年来,由于常规油气产量逐渐下降,具有较大潜力的非常规油气资源则越来越受重视。致密油储层孔隙结构表征是对致密油储层研究的基础。本文在充分调研国内外关于致密油储层岩石微观孔隙结构研究方法的基础上,以长岭凹陷泉四段致密油储层为研究对象,主要研究了致密油储层孔隙结构表征以及流体赋存状态两部分内容。针对研究区致密油储层孔隙结构复杂,物性相关性较差的特征,首先,利用铸体薄片、扫描电镜镜下观察等方法,确定长岭
密集烤房是烟叶烘烤的重要载体,烘烤控制是获得优质干烟叶的重要途径。现阶段国内烟叶烘烤技术虽然有了很大改进,但仍存在不少问题。使用煤、生物质等作为主要燃料,造成资源浪费、产生有害气体污染环境,而且还导致烘烤过程可控性差;采用空气外排的除湿方式使得装烟室中的热量以及烟叶烘烤过程中析出的物质都被直接排出,不仅降低了烟叶评吸质量和外观色度,还增加了能耗。现有烤房控制系统和烘烤工艺主要是针对燃煤型密集烤房研
气动光学成像偏移是影响精确制导武器装备发展的重要因素之一,机载计算机能够快速获得当前状态的气动光学成像偏移数值,对提高命中率有直接的应用价值。针对风洞实验和数值模拟计算成本高、实施周期长、代价大的问题,本文研究基于改进优化算法的数据预测模型,对实际工程中气动光学成像偏移进行快速计算。首先,以极限学习机算法(Extreme Learning Machine,ELM)为基础,针对随机给定ELM初始权值
随着科技的快速发展,我国的汽车保有量不断增加,车辆在给生活带来极大便利的同时,也对交通管理提出了严峻的考验。人工智能技术的崛起使得智能化交通系统和无人驾驶汽车的概念迅速进入了社会的视野,而这些应用需要对交通图像进行场景理解。相关算法要在能够部署到有限计算资源设备的同时,需具备高精度和高效率的处理性能。针对这些问题,本文展开了面向交通图像场景理解的深度学习算法研究,本文主要研究和创新点具体如下:(1
困境儿童作为儿童当中的弱势群体,其生存发展需要社会各界的广泛关注。学业自我效能感是学生对自己学习自信程度的衡量,影响着困境儿童所获得的学业成就,关乎困境儿童的健康成长。本次实务中社工依托山西省太原市易源公益组织·彩虹圆梦坊困境儿童保护计划项目,运用参与观察法与行动研究法针对彩虹圆梦坊困境儿童学业自我效能感偏低问题进行社会工作干预,目的是提升困境儿童自我效能感,同时探讨小组工作介入困境儿童学业自我效
2008-2009年的金融危机对全球企业造成了重创,究其原因在于企业缺乏一定的流动性导致资金链断裂。金融危机后,企业加强了对流动性的关注,流动性管理成为理论界和实务界关注的
社会的发展会逐渐暴露出一些缺陷,往往给现有的社会制度带来新的挑战,孤儿作品就是其中之一,孤儿作品(Orphan Works)指由于享有著作权的人信息不明,或者即使信息清楚,仍处于著作权保护期内但作者却下落不明的作品,孤儿作品问题对世界范围内的版权制度提出了新的挑战。随着数字技术的爆炸式发展,著作权保护时间的不断延长,人们对知识产权的意识不断的提高,使得传统印刷时代的许多隐性版权问题逐渐扩大,出现了
对话文本情感分析研究是自然语言处理的一个研究方向,该任务通过计算文本中蕴含的情感特征,得出文本中蕴含的情感倾向。区别于传统情感计算任务,对话文本存在信息的交互,需在分析用户情感倾向的基础上,研究用户之间情感的变化与影响,存在较多技术难点。本课题基于对话文本构建了情感分类模型,实现交互式文本的情感分类任务,主要完成以下四点工作内容:(1)提出了字符级OOV解决方案,该方案在文本预处理阶段解决了未登录
随着通信领域的快速发展,第五代通信技术应运而生,5G信号源在此背景下,用于为通信系统或者基站提供各种频率、波形和输出电平电信号,以及不同频段信道模拟功能的设备。新一代通信系统要求数据传输速率高达10Gbit/s且低时延高可靠,对信道模拟的可靠性与速度性提出了新的挑战,更加复杂的信道环境影响着通信系统的性能。对信道模型和信号模拟来说,5G信号频率、带宽、协议标准不同,都对信号在相同场景中传输性能带来