基于Raft协议的并行分布式算法的改进与应用

来源 :华中科技大学 | 被引量 : 1次 | 上传用户:zhangwenhan05
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网数据量和并发量的飞速增长,单机系统已经难以满足庞大的业务需求,大型互联网公司采用分布式系统架构,扩展系统拥有的硬件资源,降低并发冲击带来的风险。多副本是解决分布式单点问题和实现负载均衡的重要手段,多副本之间数据的一致性需要通过一致性协议保证,常用的分布式一致性协议Raft在保证数据一致性的同时,也降低了系统的吞吐量。Raft的性能问题在高并发、大规模集群的场景下更为突出。因此设计并实现了基于Raft协议的并行分布式算法,在保证分布式一致性的同时,有效提升分布式算法效率。Raft算法虽然有较好的可理解性,但传统Raft算法的实现在高并发场景下存在并发性能差、选举耗时不可控等问题。在保留Raft算法易于理解,便于实现的数据特点的基础上,针对Raft的效率问题,重新设计了领导人选举和日志同步的流程。提出了基于同步时钟的选举算法,将选举流程按照时间节点划分为发起投票、收集选票和广播结果三个阶段来逐步完成选举,使选举在特定的物理时间触发,在固定的时间内完成。对于日志同步效率问题,针对性地设计了缓存方案,批量提交客户端的请求。在实现上,增加设备网关,解耦一致性系统和具体的业务功能,降低一致性系统的负载。经过测试与实验,基于Raft协议的并行分布式算法在无主状态下能够正确选主,并且满足数据一致性和可用性。在大规模分布式集群和客户端的高并发请求的场景下,上述算法在选举效率,日志提交时延方面均有良好的表现。
其他文献
由于互联网的急速发展,网络上各行各业的信息浩如烟海。在招聘领域,种类繁多的招聘网站给应聘者提供了大量的招聘信息的同时也给其带来了一些困扰。由于各个招聘网站的数据相互封闭,应聘者想要全面的搜集相关的招聘信息就需要浏览多达数十个招聘网站,这给应聘者带来了极大的不便。因此,利用相关技术构建一个面向招聘领域的垂直搜索引擎系统十分必要。本文主要工作是利用相关技术来实现一个面向招聘领域的垂直搜索引擎系统。系统
学位
人脸关键点检测,是指对人脸面部的关键点位置进行定位,已经成为了计算机视觉技术的一个重要组成部分。但是在实际应用中,由于模型的大小、速度的影响,人脸关键点检测的算法表现仍然有不足之处,如何解决模型大小、速度和精度之间的平衡,在人脸关键点检测任务中仍是一个需要解决的目标。目前,在人脸关键点检测任务中,卷积神经网络因为其强大的学习能力以及非线性拟合能力已经达到了很高的精度。但是,由于网络较为庞大,对硬件
学位
《中学教师专业标准(试行)》突出了教书育人的实践能力,即教学实施能力,而教师专业洞察力就是教学实施能力的生成起点。教师在课堂教学时所执行的教学决策都是基于教师对于课堂教学事件的注意与推理能力,教师专业洞察力能够帮助教师将专业知识和教学情境相结合运用于教学实践,是非常重要的教师专业能力。目前,国外学者对于教师专业洞察力评价和发展的研究已经走向科学化和标准化的道路,而国内学者对教师专业洞察力的研究相对
学位
家蝇抗菌肽具有理化性质稳定、抗菌谱广、特异性强等特点,在当前许多抗生素产生抗药性、开发新型抗生素困难的形势下,对家蝇抗菌肽的研究在农业、医药、食品等领域具有重要的科学意义。由于抗菌肽在家蝇的正常组织中含量很少,分离纯化难度较大,而化学合成的成本又十分昂贵,因此通过基因工程技术来获得抗菌肽成为首选方法。 本文利用大肠杆菌侵染家蝇三日龄幼虫,通过提取其总RNA,以cDNA为模板,扩增cecr
学位
苏云金芽孢杆菌(Bacillus thuringiensis,简称Bt)是目前世界上应用最广泛的杀虫微生物之一。编码Bt杀虫蛋白的基因也作为最主要的杀虫蛋白基因转入到了多种重要的粮棉作物中(郭三堆,1995)。虽然转Bt作物能抵抗主要害虫,但它们仍然容易感染真菌病原性病害。β-1,3-葡聚糖酶是一种重要的植物抗性化合物。它可以抑制植物真菌病原体的生长和繁殖,将其转入转Bt植物中可以有效控制真菌病害
学位
鳅超科(Cobitoidea)是鲤形目(Cypriniformes)鱼类中重要的类群之一种类多,形态差异大,分布广泛。本研究以鳅超科鱼类为研究对象,对线粒体基因COI、ND4、ND5和核基因RH1、RAG1、EGR2B和RBP共7个基因的进化情况进行了分析。并以这几个基因作为分子标记,探讨了鳅超科鱼类的系统发育关系。主要研究结果如下: 1、测定了鳅超科共32个种35尾样本的基因序列,包括
学位
随着计算机科学技术的发展,图像识别技术被广泛应用在生产生活各个方面,图像识别在桥梁日常巡检养护中也可以发挥其相应的作用。通过机器学习的研究来提升图像识别技术应用的实用性和优良性,建立桥梁病害图片信息的数字化模型,实现对桥梁病害图像的自动识别,对加强桥梁的智能化管理、提升桥梁巡检养护的工作效率、提高桥梁巡检中桥梁病害定位的准确度等课题有着重大的意义。论文从基于机器学习的图像识别技术入手,对桥梁巡检过
学位
社区作为城市的基本单元,是居民共同生活的地方,社区参与是社区治理的必然要求。随着经济社会的深刻变革和发展,党的十九届五中全会提出“实现国家治理体系与治理能力现代化”,社区治理主体不再单一,多个不同的主体包括政府、社区居委会、社会组织、居民等互相合作,共同投身参与社区大建设、大发展,这已成为当前基层治理和发展的必然趋势。特别近几年,迅猛发展的草根社会组织,在社区参与中发挥着越发重要的作用。从当前佛山
学位
在全面信息化、数字化的新时代背景下,随着信息技术的快速发展和网络设施的基本普及,带来了教育教学模式的改革创新,对外汉语教学也迎来了新的机遇和挑战,“微课”教学模式应运而生。笔者基于国内对外汉语微课的建设和发展现状,以国内知名对外汉语微课平台为经典案例进行学习,对《汉语教程》(第一册)进行微课教学设计实践,并以第十五课中的一个语法点作为教学设计案例进行具体的实践分析,希望能够为初级阶段的语法微课教学
学位
本论文主要研究RN(N≥ 1)空间中带有L2-临界扰动项的分数阶Gross-Pitaevskii(FGP)泛函在广义L2-临界约束下的极小可达元问题。具体来说,考虑在空间RN上,能量eρ为广义L2-临界约束极小问题:#12其中GP能量泛函E(u)定义为:(?)其中(-△)s是分数阶拉普拉斯算子,0<q<4s/N,0<s<1,b∈R且b≠0,且势函数V(x)满足条件(V)。(V).V(x)∈Cloc
学位